Диагностика состояния и восстановление ceph-кластера


Администрирование операционных систем на базе Linux (Debian/Ubuntu и Centos/RedHat) Виртуализация серверов и рабочих станций в Windows и Linux - Hiperv, KVM, VMWare Резервное копирование и восстановление информации (Backup & Recovery)
ceph inconsistent zabbix данных ключ
 
 

* В этом блоге я описываю свою повседневную рабочую практику, поэтому все статьи в блоге написаны лично мной и при копировании их на свой сайт пожалуйста указывайте ссылку на страницу откуда вы скопировали.
* Если какая-то статья вам помогла, то вы можете дать мне немного денег вместо простого спасибо (ссылка на форму поддержки проекта внизу страницы), если вы что-то не поняли или у вас что-то не получается, то вы можете нанять меня и я вам все подробно расскажу (расценки и ссылки в конце статьи).


(последние правки 3 недели, 4 дня)

Достался мне на поддержку CEPH-кластер, а как готовить его не рассказали и все бы ничего, но он умеет самопроизвольно рассыпаться раз в три дня и требует постоянного контроля. Подключил его к Zabbix и настроил мониторинг состояния Possible data damage и при каждом таком событии иду его выводить его из раскоряченного состояния.

Проверяем статус ceph-кластера.

root@pvc-1:~# ceph health detail
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
OSD_SCRUB_ERRORS 1 scrub errors
PG_DAMAGED Possible data damage: 1 pg inconsistent
   pg 1.8 is active+clean+inconsistent, acting [5,2,8]

Видим, что узел 1.8 в непоследовательном состоянии с возможным повреждением данных и мы отправляем ему команду на восстановление:

root@pvc-1:~# ceph pg repair 1.8
instructing pg 1.8 on osd.5 to repair

Проверяем, что ceph начал процесс восстановления:

root@pvc-1:~# ceph health detail
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent, 1 pg repair; 4 slow requests are blocked > 32 sec
OSD_SCRUB_ERRORS 1 scrub errors
PG_DAMAGED Possible data damage: 1 pg inconsistent, 1 pg repair
   pg 1.8 is active+clean+scrubbing+deep+inconsistent+repair, acting [5,2,8]
REQUEST_SLOW 4 slow requests are blocked > 32 sec
   4 ops are blocked > 32.768 sec
   osd.5 has blocked requests > 32.768 sec

По завершении должна получиться вот такая картина:

# ceph health detail
HEALTH_OK
Моя официальная страница на FaceBook
Мой микроблог в твиттер

Создание сети типа мост для платформы виртуализации KVM при помощи Libvirt

Создание сети типа мост для платформы виртуализации KVM при помощи Libvirt

Если вы используете в своей работе менеджер виртуальных машин virt-manager, то вы наверное обращали внимание, что при создании сети вы не можете выбрать режим работы сети в виде добавления интерфейсов в существующий сетевой мост, но так как в основе этого менеджера лежит KVM и Libvirt, то мы всегда можем выполнить эту операцию в ручную из консоли.


Подготовка KVM-Libvirt инфраструктуры (удаленное подключение с поддержкой авторизации)

Подготовка KVM-Libvirt инфраструктуры (удаленное подключение с поддержкой авторизации)

Сегодня я расскажу и покажу как настроить удаленное управление гипервизором KVM/Qemu. Одним из ключевых моментов построения современных систем виртуализации ориентированных на продакшн-использование является централизованное управление и естественно, что централизация управления достигается использованием API. Одним из API для управления гипервизорами KVM/Qemu является Libvirt и стоит отметить, что эта библиотека, позволяет управлять не только KVM/Qemu, но и LXC.


Обзор open source платформы управления фермой виртуализации KVM (новое в WebVirtCloud)

Обзор open source платформы управления фермой виртуализации KVM (новое в WebVirtCloud)

Как верно подметили читатели моего блога, я конечно рассказал как установить WebVirtCloud, но не рассказал, чем же она так кардинально отличается от того же Proxmox например, да и немного скриншотов бы тоже не помешало. Я в свою очередь наверное даже пойду дальше и подготовлю небольшое видео, где продемонстрирую создание нескольких виртуальных машин и покажу некоторые новые фишки WebVirtCloud.


Создание фермы виртуализации на базе KVM/QEMU с WEB-интерфейсом управления WebVirtManager

Создание фермы виртуализации на базе KVM/QEMU с WEB-интерфейсом управления WebVirtManager

Так как мне надо подготовить для портфолио несколько описаний выполненных проектов, то пожалуй начну с построения фермы виртуализации на базе OpenSource решений без использования Proxmox и т.п. Стоит отметить, что мне удалось создать полноценную ферму виртуализации из исключительно Open Source компонентов и мигрировать на построенное решение около 100 виртуальных машин на которых производилась разработка и тестирование программного обеспечения.


Как вы наверное понимаете, бесплатно сейчас работать никто не будет и если ответ на ваш вопрос потребует больше трех минут времени и вам требуется полноценная консультация, то расценки на мои услуги представленны ниже.


Есть вопросы?
Спрашивайте и я обязательно вам отвечу!

* Поля обязательные для заполнения .