
РазборЕвгений23 мин чтения
Мониторинг серверов: какие метрики собирать, как настроить проверки и оповещения
Мониторинг серверов на Linux: какие метрики собирать по USE и золотым сигналам, как проверять сайт снаружи, настроить оповещения с задержкой срабатывания и проверить их.
Содержание · 12 разделов
На VPS может быть зелёный график CPU и при этом лежащий сайт. Происходит это потому, что «сервер работает» означает сразу три разные вещи. Операционная система отвечает. Нужный процесс запущен. Пользовательский сценарий проходит: страница открывается, бот отвечает на команду, API возвращает правильный ответ. Мониторинг серверов полезен тогда, когда видит все три уровня, а будит человека, если пользовательский сценарий сломался или вот-вот сломается и нужно срочно действовать.
Ниже собран рабочий порядок для своего Linux-сервера с сайтом, ботом или API: какие метрики собирать, что проверять снаружи, как написать правило оповещения, связать его с Telegram и убедиться, что вся цепочка срабатывает. Источники и версии проверены 06.11.2026.
Коротко
- Собирайте два вида данных. Причины смотрят по ресурсам методом USE: загрузка, насыщение, ошибки. Симптомы смотрят по четырём золотым сигналам сервиса: задержка, трафик, ошибки, насыщение.
- Добавьте хотя бы одну проверку снаружи. Одних внутренних метрик мало, чтобы независимо проверить, как сервис выглядит для пользователя, а мониторинг на том же VPS может отказать вместе с ним.
- Будите человека только алертом, после которого понятно, что делать. Всё остальное отправляйте в дневной канал или на дашборд.
- Ставьте выдержку
for, чтобы короткий всплеск не превращался в ночной звонок. - Глушите шум группировкой, подавлением зависимых алертов и тишиной на время работ.
- Проверьте цепочку целиком учебной аварией: остановка сервиса, сообщение, восстановление, сообщение о решении проблемы.
Что собирать на сервере
Google SRE формулирует задачу мониторинга через два вопроса: что сломалось и почему. Первый вопрос про симптом, второй про причину, возможно промежуточную. Для этих вопросов удобны два разных набора метрик.
Метод USE для ресурсов
Брендан Грегг предлагает простое правило: для каждого ресурса проверять utilization, saturation и errors. Utilization у него означает среднее время, когда ресурс был занят работой. Saturation показывает, сколько лишней работы ресурс не успевает обслужить, обычно она стоит в очереди. Errors считает события ошибок.
Метод хорош тем, что не даёт пропустить ресурс. Если медленно работает сайт, вы по очереди проходите процессор, память, диск и сеть и для каждого задаёте одни и те же три вопроса.
Таблица ниже даёт сокращённый стартовый набор, а не полный разбор по USE: очереди и ошибки диска и сети в ней не расписаны.
| Ресурс | Что смотреть | Метрика node_exporter или команда Linux |
|---|---|---|
| CPU | загрузка, очередь процессов | node_cpu_seconds_total, uptime (load average), vmstat |
| Память | сколько осталось для новых процессов, подкачка | free (колонка available), vmstat |
| Диск, место | свободное место на каждой файловой системе | node_filesystem_avail_bytes, df |
| Диск, ввод-вывод | насколько устройство занято | iostat |
| Сеть | входящий трафик | rate(node_network_receive_bytes_total[1m]) |
| Службы и ошибки | упавшие юниты, ошибки в журнале | systemctl --failed, journalctl |
Четыре золотых сигнала для сервиса
Для того, что видит пользователь, Google SRE предлагает четыре золотых сигнала: latency, traffic, errors и saturation. Если вы можете измерять только четыре метрики пользовательской системы, выбирайте эти. Для сайта на VPS это время ответа, число запросов, доля неудачных ответов и то, насколько сервис близок к пределу своих ресурсов.
USE и золотые сигналы работают в паре. Сигналы говорят, что пользователю плохо. USE помогает проверить, не упёрся ли в предел какой-то ресурс. Причина при этом может быть и в самом приложении, и во внешней зависимости.
White-box и black-box
В той же главе SRE разделяет два способа наблюдения. White-box мониторинг опирается на метрики, которые отдаёт сама система изнутри: логи, внутренние интерфейсы, HTTP-обработчик со статистикой. Black-box мониторинг проверяет внешнее поведение так, как его увидел бы пользователь.
На одном VPS white-box дают node_exporter или агент Zabbix. Black-box дают blackbox_exporter, Uptime Kuma или любая другая проверка, которая обращается к сервису по сети с другой машины.
Ручная диагностика Linux
До любого стека полезно знать, что показывают стандартные утилиты. Они же пригодятся, когда алерт уже пришёл и нужно понять причину. Команды рассчитаны на Linux с systemd: systemctl и journalctl относятся к нему, а iostat иногда приходится доустанавливать.
uptime
vmstat 5 3
free -h
df -h
iostat -x 5 2
systemctl --failed
journalctl -p err -b
uptime выводит текущее время, сколько система работает, число вошедших пользователей и среднюю нагрузку за последние 1, 5 и 15 минут. Load average в Linux учитывает процессы в состоянии runnable и uninterruptible. Поэтому при высокой нагрузке и спокойном CPU посмотрите колонку b в vmstat: там процессы, заблокированные в ожидании ввода-вывода. Загрузку самих дисков покажет iostat.
vmstat сообщает о процессах, памяти, подкачке, блочном вводе-выводе и CPU. Есть деталь, на которой легко ошибиться: первый отчёт содержит средние значения с последней перезагрузки. Текущую картину показывают следующие строки, поэтому команду запускают с интервалом. В vmstat 5 3 первое число задаёт паузу между отчётами в секундах, второе их количество.
free показывает свободную и занятую физическую память, swap, буферы и кэш ядра. Ключ -h подбирает удобные единицы и подписывает их. Смотреть стоит на колонку available. По описанию в man это оценка памяти, доступной для запуска новых приложений без подкачки. Маленькое значение free при большом кэше само по себе ещё не проблема.
df без аргументов показывает доступное место на всех смонтированных файловых системах, ключ -h печатает размеры в степенях 1024, например 1023M. Смотрите на все разделы сразу: логи и данные контейнеров могут лежать на отдельном диске.
iostat отслеживает нагрузку на устройства ввода-вывода и выдаёт два отчёта, по CPU и по устройствам. Ключ -x включает расширенную статистику, а в iostat -x 5 2 числа задают интервал в секундах и количество отчётов. Утилита входит в пакет sysstat, в минимальной установке её может не быть.
systemctl --failed выводит юниты в состоянии failed. Так быстро находятся юниты, у которых systemd зафиксировал сбой. Пустой вывод ещё не доказывает, что нужная служба работает. Конкретную службу проверяет systemctl is-active имя-сервиса: команда вернёт ненулевой код, если юнит не активен. journalctl читает записи журнала systemd, и в них ищут причину падения службы. journalctl -p err -b покажет сообщения уровня err и более важные за текущую загрузку.
Ручная проверка отвечает на вопрос «что сейчас». Она не ведёт историю и никого не разбудит, поэтому дальше нужен постоянный сбор и внешние проверки.
Проверки снаружи
Внутренние метрики видят машину. Пользователь видит DNS, сертификат, сеть провайдера и ответ приложения. Документация Prometheus прямо советует дополнять white-box мониторинг внешними black-box проверками: они ловят проблемы, которые иначе не видны, и служат запасным вариантом, если внутренние системы отказали целиком. Если VPS выключился, Prometheus уже не сможет забрать метрики его node_exporter. Внешняя проверка с другой машины заметит это на ближайшем цикле.
Два распространённых варианта:
- blackbox_exporter проверяет конечные точки по HTTP, HTTPS, DNS, TCP, ICMP и gRPC. Результат каждой проверки попадает в метрику
probe_success, и на неё удобно писать правило. Подходит, если вы уже строите связку на Prometheus. - Uptime Kuma умеет проверки HTTP(s), HTTP(s) Keyword, HTTP(s) Json Query, TCP, Ping, DNS Record, Push, Websocket и Docker Containers. Уведомления отправляет в Telegram, Discord, Slack, по почте и ещё в 90 с лишним сервисов. Подходит, если нужен отдельный инструмент со встроенными уведомлениями, без сборки связки из нескольких компонентов.
Для третьего уровня, «сценарий проходит», мало проверить, что порт открыт. Лучше запрашивать адрес, который действительно задействует приложение, и проверять содержимое ответа. В Uptime Kuma для этого есть проверка по ключевому слову и по JSON. Для сервисов в Docker пригодится собственный healthcheck контейнера, он разобран в статье про Docker Compose. Если на сервере работает ИИ-агент, о проверке статуса его gateway рассказано в материале об установке Hermes Agent.
Инструменты по ролям
Ниже инструменты разобраны по задачам, которые они закрывают, без рейтинга. Для одного VPS хватит одной связки, а выбор зависит от того, что уже есть в вашей инфраструктуре. Версии указаны по официальным страницам релизов на 06.11.2026.
Prometheus, node_exporter и Alertmanager
Prometheus хранит метрики как временные ряды: у каждого значения есть отметка времени и необязательные пары «ключ и значение», которые называются метками. Сбор идёт по модели pull через HTTP, то есть сервер Prometheus сам ходит за данными. Над собранными данными он выполняет правила: записывает новые агрегированные ряды или генерирует алерты.
По умолчанию Prometheus хранит данные 15 дней, если не задан ни --storage.tsdb.retention.time, ни --storage.tsdb.retention.size. Последний флаг ограничивает хранение по объёму, самые старые данные удаляются первыми.
node_exporter отдаёт метрики оборудования и ОС, которые предоставляет ядро. По умолчанию он слушает HTTP-порт 9100. Метрики хоста у него имеют префикс node_, например node_cpu_seconds_total и node_filesystem_avail_bytes, как показано в руководстве Prometheus. Метрики нужны только серверу Prometheus, поэтому порт 9100 разумно закрыть от внешнего мира файрволом. Выбор и подготовка самой машины описаны в материале про VPS-сервер.
Alertmanager принимает алерты от Prometheus, дедуплицирует и группирует их, отправляет нужному получателю, а также умеет глушить и подавлять оповещения.
Актуальные версии: Prometheus 3.16.0 (в заголовке релиза указано 2026-11-04, GitHub показывает публикацию 5 ноября, страница релизов), node_exporter 1.12.1 от 2026-07-14 (релизы node_exporter).
Grafana Alerting
Grafana обычно знают как дашборды, но в ней есть и собственная система оповещений. Grafana Alerting позволяет строить запросы и выражения по нескольким источникам данных, в том числе по метрикам и логам.
Основные понятия описаны во введении в Grafana Alerting. Правило состоит из запросов и выражений и содержит условие, при котором оно срабатывает. Contact points определяют текст уведомления и куда оно уйдёт. Notification policies направляют алерты в нужную точку по совпадению меток. Silences и mute timings приостанавливают уведомления, при этом правила продолжают вычисляться.
Последняя версия на дату проверки 13.3.0, опубликована 27 октября 2026 года (релиз на GitHub).
Zabbix
Zabbix описывает себя как распределённую систему мониторинга с открытым кодом. Она следит за сетью, серверами, виртуальными машинами, приложениями, базами данных, сайтами и облаком.
Три базовых понятия:
- элемент данных (item) это отдельная метрика, которая собирает значения;
- триггер описывает условие проблемы. Без триггера Zabbix только собирает данные и никак на них не реагирует;
- шаблон объединяет набор сущностей, который можно применить ко многим хостам. Изменение в шаблоне расходится по всем связанным узлам.
Агент Zabbix работает в двух режимах. В пассивном он отвечает на запрос сервера или прокси. В активном сам собирает данные и отправляет их, не дожидаясь запроса.
5 ноября 2026 года вышел Zabbix 8.0.0. По таблице жизненного цикла LTS-ветка поддерживается пять лет: три года полной поддержки и два года ограниченной. Для 8.0 LTS полная поддержка заканчивается 30 ноября 2029 года, ограниченная 30 ноября 2031 года. У 7.0 LTS полная поддержка идёт до 30 июня 2027 года.
Netdata
Netdata заявляет посекундные метрики и визуализации и автоматически находит большинство метрик, часть сборщиков настраивается вручную. Это вариант, когда нужна подробная картина по одному хосту с минимальной настройкой.
Алерты, ради которых стоит просыпаться
Собрать метрики проще, чем решить, когда из-за них кого-то будить. Google SRE предлагает для каждого правила один проверочный вопрос: находит ли оно иначе незамеченное состояние, которое срочно, требует действия и уже видно пользователю или вот-вот станет видно.
Там же есть требование, которое хорошо отсекает лишнее. Каждый пейдж должен требовать действия, и реакция на него должна требовать размышления. Если на оповещение достаточно механически выполнить одно и то же, человека будить не нужно. Автоматизировать такую реакцию стоит, только если действие проверено и безопасно, число повторов ограничено, каждый запуск попадает в журнал, а при неудаче алерт всё-таки уходит человеку.
Prometheus в рекомендациях по алертингу сводит это к нескольким правилам:
- алертов должно быть как можно меньше;
- алертить лучше по симптомам, связанным с болью пользователя, чем по каждой возможной причине;
- алерт должен вести к консоли, где видно, какой компонент виноват;
- нужен запас на короткие всплески;
- пейджей, по которым нечего делать, быть не должно.
Выдержка, метки и ссылка на runbook
В правиле Prometheus за запас на всплески отвечает необязательная выдержка for. Prometheus ждёт заданное время с момента, когда выражение впервые стало истинным, и проверяет на каждом цикле вычисления, что условие сохраняется. Пока время не вышло, алерт находится в состоянии pending, после этого переходит в firing.
Блок labels добавляет к алерту дополнительные метки. В него удобно класть срочность, по которой Alertmanager решит, куда отправить сообщение. Блок annotations хранит длинную информацию: описание и ссылку на runbook, то есть короткую инструкцию «что делать».
Пример файла с двумя правилами. Первое срабатывает, когда внешняя проверка не проходит, второе предупреждает о заканчивающемся месте на корневом разделе.
groups:
- name: vps-basic
rules:
- alert: SiteDown
expr: probe_success{job="blackbox"} == 0
for: 3m
labels:
severity: page
annotations:
summary: "Сайт {{ $labels.instance }} не проходит внешнюю проверку"
runbook: "https://wiki.example.com/runbooks/site-down"
- alert: RootDiskLow
expr: node_filesystem_avail_bytes{mountpoint="/"} < 5 * 1024 * 1024 * 1024
for: 15m
labels:
severity: ticket
annotations:
summary: "На {{ $labels.instance }} меньше 5 ГиБ свободного места в /"
runbook: "https://wiki.example.com/runbooks/disk-low"
Имя задания job="blackbox", метка mountpoint="/", порог в 5 ГиБ, окна и адреса runbook здесь условные. Подставьте свои значения. Перед подключением правил выполните в Prometheus запросы probe_success и node_filesystem_avail_bytes и посмотрите, с какими метками записаны фактические ряды: job, instance, а для диска ещё mountpoint. Селекторы в правилах должны с ними совпадать. Коллектор filesystem в node_exporter записывает node_filesystem_avail_bytes с метками device, mountpoint, fstype и device_error, поэтому корневой раздел обычно выбирается селектором mountpoint="/".
Стартовая матрица сигналов
Таблица ниже служит отправной точкой. Пороги и окна в ней это гипотезы для первой недели, их нужно подстраивать под свой сервис по истории срабатываний. Универсальной нормы для них нет.
| Сигнал | Условие и окно (стартовая гипотеза) | Срочность | Первое действие |
|---|---|---|---|
| Внешняя проверка сайта или API | probe_success == 0 дольше 3 минут | будить | открыть адрес с другой сети, проверить systemctl --failed и журнал службы |
| Служба в состоянии failed | юнит в systemctl --failed дольше 5 минут | будить, если служба отвечает за пользовательский сценарий | прочитать journalctl по юниту, перезапустить после понимания причины |
| Свободное место на диске | меньше 10–15% на разделе дольше 15 минут | дневная задача; будить, если при текущем росте место кончится раньше следующего рабочего дня | df -h покажет заполненный раздел, du -sh по каталогам покажет, где занято место, а сравнение нескольких замеров покажет, что растёт; удалять только заведомо ненужное или расширить диск |
| Доступная память | available близко к нулю, растёт использование swap | дневная задача, будить при совпадении с ошибками сервиса | найти процесс по памяти, проверить утечку и лимиты |
| Load average и очередь | load average выше числа ядер дольше 15 минут | на дашборд, без пейджа | сопоставить с vmstat и iostat: процессор или ожидание диска |
| Ошибки сервиса | рост доли ответов 5xx за 5–10 минут | будить, если затронуты пользователи | открыть журнал приложения, проверить последние изменения |
Внешняя проверка будит, если она следит за критичным для пользователей адресом и её устойчивый отказ требует немедленных действий. Для упавшей службы, диска, памяти и ошибок сервиса решает, затронут ли пользователь сейчас или будет затронут до того, как кто-то увидит задачу днём. Высокая нагрузка сама по себе относится к причинам, её место на дашборде рядом с симптомами.
Как не утонуть в шуме
Google SRE описывает, что происходит при частых пейджах: люди начинают сомневаться в оповещениях, пробегать их глазами или игнорировать, иногда пропуская настоящий пейдж, скрытый в шуме. Аварии из-за этого могут затягиваться, потому что шум мешает быстро найти причину и исправить её. Поэтому борьба с шумом входит в саму настройку мониторинга.
Инструменты Alertmanager
Alertmanager даёт три механизма:
- группировка объединяет похожие алерты в одно уведомление. Это особенно полезно при крупной аварии, когда одновременно срабатывают сотни алертов;
- подавление (inhibition) глушит уведомления по одним алертам, если уже горят другие. Например, если сервер недоступен целиком, сообщения о каждой его службе не нужны;
- silences на заданное время глушат уведомления по алертам, которые совпали с матчерами. Тишина задаётся матчерами, как дерево маршрутизации, и под неё попадают алерты, совпавшие со всеми условиями.
Silence удобно ставить перед плановыми работами и снимать сразу после них.
Silences и mute timings в Grafana
В Grafana разделение такое: silence используют для разовой паузы, например на время обслуживания, а mute timings для регулярной, например по вечерам и выходным. И то и другое приостанавливает только уведомления, правила продолжают считаться.
Как оценить качество алертинга
В SRE Workbook есть четыре характеристики, по которым удобно разбирать свои алерты после месяца работы. Определения взяты из главы Alerting on SLOs:
- precision показывает долю срабатываний, которые оказались значимыми. Она равна 100%, если каждый алерт соответствует значимому событию;
- recall показывает долю значимых событий, которые были обнаружены. Она равна 100%, если каждое значимое событие привело к алерту;
- detection time означает, сколько времени уходит на отправку уведомления в разных условиях;
- reset time означает, сколько алерт продолжает гореть после того, как проблема решена. Долгий reset time путает и приучает игнорировать алерты.
Выдержка for отсекает короткие всплески и тем самым помогает precision, но каждая минута выдержки добавляется к detection time. Подбирая окна, держите в голове оба эффекта.
Как связать правила, проверку и Telegram
Файл правил из примера выше сам ничего не делает. Prometheus должен его прочитать, собирать метрики хоста и результат внешней проверки, а сработавшие алерты передавать в Alertmanager. Тот уже доставляет сообщение получателю. Ниже минимальная связка из двух конфигураций. Установку самих Prometheus, node_exporter, blackbox_exporter и Alertmanager описывает их документация, здесь показано только, как соединить части.
Удобная схема для одного VPS: на сервере работает только node_exporter, а Prometheus, blackbox_exporter и Alertmanager живут на второй небольшой машине. Тогда внешняя проверка и доставка сообщений не падают вместе с наблюдаемым сервером.
Файл prometheus.yml на второй машине:
global:
scrape_interval: 15s
evaluation_interval: 15s
rule_files:
- /etc/prometheus/rules/vps-basic.yml
alerting:
alertmanagers:
- static_configs:
- targets: ['localhost:9093']
scrape_configs:
- job_name: node
static_configs:
- targets: ['203.0.113.10:9100']
- job_name: blackbox
metrics_path: /probe
params:
module: [http_2xx]
static_configs:
- targets:
- https://example.com/
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 127.0.0.1:9115
Что здесь происходит:
rule_filesподключает файл с правилами. По документации Prometheus правила и алерты читаются из всех файлов, которые совпали с шаблоном пути.alerting.alertmanagersуказывает, куда отправлять алерты. Адрес Alertmanager можно задать статически черезstatic_configsили находить через service discovery. После запуска Alertmanager доступен на порту 9093.- Задание
nodeсобирает метрики VPS. Это пример из руководства по node_exporter, только вместоlocalhostстоит адрес сервера.203.0.113.10здесь условный, подставьте свой и закройте порт 9100 для всех, кроме машины с Prometheus. scrape_intervalзадаёт, как часто собирать метрики с целей, аevaluation_intervalкак часто пересчитывать правила. По умолчанию оба равны одной минуте. Поэтому сообщение приходит не ровно через времяfor: к выдержке добавляются интервалы сбора и пересчёта и обработка в Alertmanager.- Задание
blackboxвзято из README blackbox_exporter. Проверяемый адрес передаётся экспортеру параметром через relabeling, модульhttp_2xxждёт ответа HTTP 200, а сам Prometheus обращается к экспортеру по адресу127.0.0.1:9115. Это базовая проверка доступности: код 200 ещё не значит, что страница или API отдают правильное содержимое. В результате появляется рядprobe_success{job="blackbox"}, на который смотрит правилоSiteDown.
Файл правил перед перезапуском удобно проверить командой promtool check rules /etc/prometheus/rules/vps-basic.yml. Prometheus описывает её как проверку синтаксиса без запуска сервера.
Файл alertmanager.yml:
route:
receiver: telegram-ops
group_by: ['alertname', 'instance']
receivers:
- name: telegram-ops
telegram_configs:
- bot_token_file: /etc/alertmanager/telegram_bot_token
chat_id: -1001234567890
send_resolved: true
message: "{{ range .Alerts }}[{{ .Status }}] {{ .Annotations.summary }}\nRunbook: {{ .Annotations.runbook }}\n{{ end }}"
В конфигурации Alertmanager каждый алерт входит в дерево маршрутов через верхний route, а group_by задаёт метки, по которым алерты собираются в одно уведомление. Токен бота лежит в отдельном файле: параметры bot_token и bot_token_file взаимоисключающие, и второй вариант не держит секрет в самом конфиге. chat_id это номер чата, куда уйдут сообщения, в примере он условный. Параметр send_resolved отвечает за сообщение о восстановлении. У Telegram он включён по умолчанию, в примере записан явно. Поле message задаёт шаблон сообщения: для каждого алерта группы он выводит статус (firing или resolved), summary и ссылку из аннотации runbook. Без него Alertmanager возьмёт стандартный шаблон, и содержимое лучше проверить на учениях.
В этой схеме все алерты, включая severity: ticket, уходят в один чат. Чтобы разделить срочное и дневное, добавьте в route дочерний маршрут по метке severity со своим получателем.
Кто следит за самим мониторингом
Правило SiteDown срабатывает, только когда проверка вернула неудачу. Если сломался сам сбор, оно промолчит. Prometheus в рекомендациях прямо советует держать алерты на работоспособность Prometheus, Alertmanager и остальной инфраструктуры мониторинга. Ещё лучше одна black-box проверка, которая проводит тестовое оповещение через всю цепочку до канала доставки.
Два правила, которые стоит добавить в тот же файл:
- alert: ScrapeFailed
expr: up{job=~"node|blackbox"} == 0
for: 5m
labels:
severity: page
annotations:
summary: "Prometheus не может собрать {{ $labels.job }} с {{ $labels.instance }}"
runbook: "https://wiki.example.com/runbooks/scrape-failed"
- alert: ProbeMissing
expr: absent(probe_success{job="blackbox"})
for: 10m
labels:
severity: page
annotations:
summary: "Нет результатов внешней проверки"
runbook: "https://wiki.example.com/runbooks/probe-missing"
Для каждой цели Prometheus записывает ряд up: 1, если цель доступна, и 0, если сбор не удался. Функция absent() возвращает 1, когда рядов с таким именем и метками нет совсем, и документация называет её полезной как раз для алертов на этот случай. Правило ProbeMissing в таком виде рассчитано на одну цель или на пропажу всех результатов задания: пока остаётся хоть один ряд probe_success, оно молчит. Чтобы ловить пропажу конкретного адреса, добавьте отдельное правило с его instance в селекторе absent.
Машина мониторинга тоже может выключиться, и тогда сообщить о ней будет некому. Поэтому её саму стоит проверять снаружи, например отдельным Uptime Kuma на третьей машине или внешним сервисом проверок.
Учебная авария на тестовом стенде
Пока цепочка не сработала хотя бы раз, нельзя быть уверенным, что сообщение дойдёт. Проверку лучше делать на тестовом стенде или в заранее согласованное окно.
- Убедитесь, что внешняя проверка зелёная, а в мониторинге нет активных алертов по этому сервису.
- Остановите сервис, от которого зависит проверяемый адрес:
sudo systemctl stop имя-сервиса. - Посмотрите, как алерт переходит в pending, а после выдержки
forв firing. - Дождитесь сообщения в выбранном канале. Проверьте, что в нём есть имя хоста, понятное описание и ссылка на runbook.
- Пройдите runbook так, как прошёл бы его дежурный, и запустите сервис:
sudo systemctl start имя-сервиса. - Засеките время от момента, когда сервис снова отвечает, до момента, когда алерт перестаёт быть firing. Это и есть reset time вашей настройки. Отдельно проверьте сообщение о восстановлении (resolved): его отправку задаёт параметр получателя
send_resolved, в примере выше он включён. - Проверьте пользовательский сценарий снаружи вручную: страница открывается, бот отвечает, API возвращает корректный ответ.
Если сообщение не пришло, проверяйте цепочку по порядку: остановилась ли нужная служба, изменился ли ответ проверяемого адреса, стал ли probe_success равен 0, перешло ли правило в pending и firing, появился ли алерт в Alertmanager, дошло ли сообщение до Telegram. Это лучше узнать на учениях, чем ночью.
Вторым упражнением остановите blackbox_exporter или node_exporter и дождитесь сообщения от ScrapeFailed. Так проверяется, что мониторинг сообщает и о собственном отказе.
Частые ошибки
- Мониторинг стоит на том же сервере, что и сайт, и внешней проверки нет. Если машина выключится, сообщать будет некому.
- Алерты стоят на каждую метрику: CPU, load average, память. Такие частые сообщения приучают людей их игнорировать, и настоящий инцидент легко пропустить.
- Нет выдержки
for, и каждый короткий всплеск порождает сообщение. - Проверяется только открытый порт или ping, а приложение возвращает ошибку.
- В уведомлении нет ссылки на инструкцию, и дежурный ночью вспоминает, что делать.
- Цепочку ни разу не проверяли учебной аварией.
- Нет тишины на время работ, и каждый плановый релиз будит всех.
Чек-лист
- [ ] node_exporter или агент Zabbix собирает CPU, память, диск, сеть.
- [ ] Порт экспортера закрыт от внешнего мира.
- [ ] Есть внешняя проверка главного адреса с другой машины.
- [ ] Каждый будящий алерт проходит вопрос «срочно, есть действие, пользователь пострадал или вот-вот пострадает».
- [ ] У правил есть
for, метка срочности и ссылка на runbook. - [ ] Правила подключены через
rule_files, Prometheus отправляет алерты в Alertmanager, у получателя включёнsend_resolved. - [ ] Настроена группировка. Подавление зависимых алертов и отдельный маршрут для
ticketдобавлены или записаны следующим шагом. - [ ] Есть порядок, как ставить silence перед работами.
- [ ] Учебная авария дошла до сообщения, а после восстановления пришло сообщение resolved.
- [ ] Есть алерты на отказ сбора (
up,absent), а машину мониторинга проверяет кто-то снаружи.
Вопросы и ответы
Чем мониторить один VPS
Минимум состоит из двух частей: сбор метрик хоста и внешняя проверка. В схеме из этой статьи node_exporter стоит на VPS, а Prometheus, blackbox_exporter и Alertmanager на отдельной машине мониторинга. Вместо blackbox_exporter внешние проверки и уведомления в Telegram может взять Uptime Kuma, а метрики хоста в этом варианте по-прежнему собирает node_exporter. Если нужна подробная картина по одной машине без долгой настройки, посмотрите Netdata.
Что выбрать, Zabbix или Prometheus
Они по-разному устроены. Prometheus сам забирает метрики по HTTP и хранит их как временные ряды с метками, алертами занимается отдельный Alertmanager. Zabbix строится вокруг элементов данных, триггеров и шаблонов, а его агент может работать и в пассивном, и в активном режиме. Шаблоны удобны, когда много однотипных хостов. Выбирайте то, что уже знакомо команде и подходит к остальной инфраструктуре.
Нужна ли Grafana
Для сбора и алертов в связке Prometheus и Alertmanager она не обязательна. Grafana можно использовать для дашбордов, и она может сама отвечать за оповещения: в ней есть правила, контактные точки, политики уведомлений, silences и mute timings, причём правила могут опираться на несколько источников, включая логи.
Какие пороги ставить
Начинайте с порогов из стартовой матрицы как с гипотезы. Через неделю посмотрите, какие алерты сработали впустую и какие проблемы прошли без алерта. Это и есть precision и recall в простом виде. Пороги, скопированные из чужой статьи, часто не подходят вашему сервису.
Где держать мониторинг
Хотя бы внешняя проверка должна жить вне наблюдаемого сервера. Prometheus называет внешние проверки запасным вариантом на случай, когда внутренние системы отказали целиком. Это работает только если проверка не падает вместе с сервером.
Сколько хранить метрики
У Prometheus по умолчанию 15 дней. Срок меняют флагом --storage.tsdb.retention.time, объём ограничивают флагом --storage.tsdb.retention.size. Срок зависит от задачи: разбор недавнего инцидента требует меньше истории, чем сравнение нагрузки за несколько месяцев. Увеличивая хранение, добавьте алерт на свободное место под данные самого Prometheus.
Читайте также
- VPS-сервер: как выбрать ресурсы под n8n, бота и ИИ-агента
- Docker Compose: compose.yaml, несколько сервисов и основные команды
- Hermes Agent: установка и настройка, как я завёл его на Mac и в Telegram
- Нейросеть для написания текста: черновик по источникам и проверка
- ИИ для создания приложений: как работать с агентами и проверять результат
Источники
- Google SRE Book: Monitoring Distributed Systems
- Google SRE Workbook: Alerting on SLOs
- Brendan Gregg: The USE Method
- Prometheus: Overview
- Prometheus: Alerting (best practices)
- Prometheus: Alerting rules
- Prometheus: Alertmanager
- Prometheus: Monitoring Linux host metrics with the Node Exporter
- GitHub: prometheus/node_exporter
- GitHub: prometheus/blackbox_exporter
- GitHub: Prometheus releases
- GitHub: node_exporter releases
- Prometheus: Storage
- Zabbix Documentation — User manual
- Zabbix — Introduction
- Zabbix agent — Passive and active checks
- Zabbix — Items
- Zabbix — Problem detection with triggers
- Zabbix — Templates and template groups
- Zabbix Lifecycle and Release Policy
- Zabbix — Элементы данных
- Zabbix — Обнаружение проблем с помощью триггеров
- Grafana Alerting
- Introduction to Grafana Alerting
- uptime(1) — Linux manual page
- vmstat(8) — Linux manual page
- free(1) — Linux manual page
- df(1) — Linux manual page
- iostat(1) — Linux manual page
- systemctl(1) — Linux manual page
- journalctl(1) — Linux manual page
- Uptime Kuma — README
- Netdata — README
- GitHub: Grafana 13.3.0 release
- GitHub API: Grafana latest release
- Zabbix: Release Notes 8.0.0
- Prometheus: Configuration
- Prometheus: Defining recording rules
- Prometheus: Jobs and instances
- Prometheus: Query functions
- Alertmanager: Configuration
- Alertmanager: Notification template examples
- Alertmanager: Notification template reference
- GitHub: prometheus/alertmanager
- du(1) — Linux manual page
- GitHub: node_exporter filesystem collector