Создание алерта

Практический пример: нужно уведомить, что CPU > 80% за последние 5 минут.

Создание из панели

Самый простой способ — конвертировать существующую панель графика в алерт. Правый верхний угол панели → Edit → Alert → Create alert rule.

Grafana создаст новое правило с уже предзаполненным запросом из панели.

Настройка правила

Rule Name: High CPU Usage — простое и понятное название.

Metrics browser / Query:

avg by (host) (rate(cpu_seconds_total{mode!="idle"}[5m])) * 100

Expressions: - A — Reduce: Last (возвращает последнее значение временного ряда). - B — Math: A > 80. - C — Threshold.

Логика: Reduce берёт последнее значение метрики, Math сравнивает его с 80%, Threshold переводит результат в состояние алерта.

Pending Period: 5 минут

Если CPU превысит 80% на 5 минут, алерт перейдёт в Firing.

Folder и Group

Поместите правило в папку «Infrastructure» с Evaluation Group «Infra». Интервал 1 минута.

Контакт (Contact Point)

Пока оставляем Default. В разделе про уведомления подключим Telegram и Slack. Без контакта алерт будет срабатывать молча — видно только в интерфейсе Grafana.

Тестирование

В интерфейсе есть кнопка Preview — показывает, сработал бы алерт прямо сейчас? Это позволяет проверить логику без зажигания настоящего пожара.

Принцип: создали правило → проверили Preview → поправили → запустили в production. Не наоборот.