Перейти к содержанию

Grafana Drilldown: исследование данных без запросов

В три часа ночи дежурный SRE открывает Grafana и видит алерт: error rate у payment-api вырос с 0.1% до 3%. Что делать? Раньше первый шаг был один — открыть Explore, написать PromQL, потом переключиться в Loki с LogQL, потом в Tempo с TraceQL. Сейчас этот же путь проходится без единой строчки запроса, только кликами по графикам и фильтрам. За это отвечает набор приложений Grafana Drilldown.

Это не отдельный продукт и не новый язык запросов. Это набор из четырёх приложений в левом меню Grafana, по одному на каждый тип телеметрии. Они превращают расследование инцидента в последовательность кликов: общий график → фильтр по сервису → список ошибок → конкретный трейс → временная шкала спанов. Всё, что раньше требовало знания PromQL, LogQL и TraceQL, теперь делается мышкой.

Идея: queryless exploration

Главная идея Drilldown — снизить порог входа. Не каждый инженер на дежурстве одинаково хорошо пишет запросы во всех трёх языках. Drilldown берёт на себя «перевод» с визуальных действий пользователя в запросы, которые Grafana шлёт в Prometheus, Loki, Tempo или Pyroscope. Пользователь видит графики и таблицы, под приложением работают обычные запросы — просто сгенерированные автоматически.

Это не замена Explore. Explore — это свобода: любой запрос, любой источник, любая комбинация. Drilldown — это скорость: готовые сценарии для типовых расследований. На любой панели Drilldown есть ссылка «Open in Explore», которая переносит текущий набор фильтров в обычный Explore как готовый запрос. Если queryless-режима не хватило — переключились в полный и дописали руками.

С февраля 2025 года приложения Explore Logs, Explore Metrics, Explore Traces и Explore Profiles были переименованы в Logs Drilldown, Metrics Drilldown, Traces Drilldown и Profiles Drilldown. Если в вашей документации или скриншотах встречаются старые названия — это то же самое, просто старая марка.

Состав набора

Drilldown покрывает четыре типа телеметрии. У каждого типа — своё приложение в меню, свой источник данных, свои сценарии расследования.

Приложение Источник Что покрывает
Metrics Drilldown Prometheus, Mimir и совместимые Метрики: CPU, RPS, latency, error rate
Logs Drilldown Loki Логи всех сервисов
Traces Drilldown Tempo Распределённые трейсы и спаны
Profiles Drilldown Pyroscope Профили CPU, памяти, аллокаций

Все четыре ставятся как плагины Grafana и включаются через меню Drilldown в левой панели. Если приложение не установлено — пункта меню просто нет, остальные работают как обычно.

Как попасть в Drilldown

В левом меню Grafana найдите раздел Drilldown. Внутри — четыре подпункта: Metrics, Logs, Traces, Profiles. Клик по любому открывает стартовый экран соответствующего приложения.

Что нужно, чтобы приложение заработало:

  • Установленный плагин. В Grafana Cloud все четыре включены по умолчанию. В self-hosted — ставятся отдельно: grafana-metricsdrilldown-app, grafana-lokiexplore-app, grafana-exploretraces-app, grafana-pyroscope-app.
  • Источник данных. У каждого приложения свой: Prometheus или Mimir для Metrics, Loki для Logs, Tempo для Traces, Pyroscope для Profiles. Если источника нет — приложение откроется с пустым состоянием и предложит выбрать data source.
  • Права на чтение источника. Пользователь должен иметь доступ к запросам в соответствующий data source. Роль Viewer с правом data sources:explore обычно достаточно.

Совет: если вы только разворачиваете Grafana и хотите попробовать Drilldown без своих данных — откройте Grafana Play. Там есть демостенды с реальными метриками, логами и трейсами, на которых все четыре приложения работают в полном объёме.

Общий паттерн: от общего к частному

Все четыре приложения построены по одному принципу. Стартовый экран показывает картину по всем сервисам сразу. Дальше — последовательность сужений.

  1. Обзор всех сущностей. Список сервисов, метрик, трейсов или процессов с агрегированными метриками и превью.
  2. Выбор сущности. Клик по сервису, метрике или трейсу переносит на страницу деталей.
  3. Фильтрация по меткам и полям. На странице деталей — фильтры сверху. Каждый клик сужает выборку.
  4. Анализ через специализированные вкладки. У каждого приложения свой набор вкладок для разных типов расследования.
  5. Провал в конкретный объект. Таблица конкретных логов, трейсов или функций. Клик открывает полные детали.
  6. Переход в Explore. Когда queryless-режима не хватает — ссылка на любой панели переносит фильтры в обычный Explore как готовый запрос.

Этот паттерн повторяется от приложения к приложению почти дословно. Один раз разобравшись с одним, остальные осваиваются за минуты.

Metrics Drilldown

Metrics Drilldown — приложение для исследования метрик без PromQL. Открыли — увидели список метрик с автоматически подобранной визуализацией для каждой. Кликнули по метрике — открылась разбивка по лейблам.

Что умеет

  • Сегментация по лейблам. Выбрали метрику — увидели все её лейблы и значения. Клик по значению добавляет фильтр, выборка сужается. Никакого {job="..."} руками.
  • Автовизуализация по типу метрики. Counter превращается в rate-график автоматически. Gauge — в шкалу. Histogram — в heatmap. Не надо думать, какой тип визуализации подходит.
  • Связанные метрики. Приложение само предлагает соседние метрики: если вы смотрите http_requests_total, рядом появится http_request_duration_seconds и http_requests_in_progress.
  • Pivot к логам. С графика метрики можно перейти к логам соответствующего сервиса в Logs Drilldown — связь сохраняется, фильтры переносятся.

Типичный сценарий

Стартовый экран показывает все метрики, разбитые по префиксам. Вы заметили аномалию на графике node_cpu_seconds_total. Кликнули — открылась страница метрики. Сверху — выбор лейблов: instance, mode, cpu. Применили mode="idle" — увидели, что на двух инстансах idle резко упал. Дальше — клик по instance="node-7" — график только по этому хосту. Увидели, что виновник — конкретная машина.

Если на этом шаге хочется посмотреть, что в логах у сервисов на этом хосте — кнопка Open in Logs перенесёт вас в Logs Drilldown с уже подставленным фильтром по instance=node-7. Переключение между типами телеметрии — одна ссылка, без потери контекста.

Где помогает

  • Расследование деградации по метрикам. Не надо вспоминать PromQL — клик по графику, фильтр по лейблу, поиск аномалии.
  • Онбординг новых инженеров. Те, кто ещё не пишет PromQL свободно, получают работающий инструмент с первого дня.
  • Быстрый pivot к логам. Когда аномалия найдена — один клик до логов соответствующего среза.

Logs Drilldown

Logs Drilldown — приложение для исследования логов Loki без LogQL. Стартовый экран показывает все сервисы, отсортированные по объёму логов. Клик по сервису — страница деталей с логами и фильтрами.

Что умеет

  • Обзор всех сервисов. На стартовом экране — карточки сервисов с графиком объёма логов и превью последних записей. Не надо знать ни лейблов, ни запросов.
  • Превью лог-записей. Клик по строке лога открывает её в контексте: что было до и после, какие поля и labels у неё есть.
  • Фильтрация по лейблам и полям. На странице деталей — вкладки Labels, Fields, Patterns. Каждая показывает разбивку по значениям с графиками объёма. Клик по значению добавляет фильтр.
  • Log patterns. Автоматически извлечённые паттерны похожих строк. Позволяют скрыть шумные повторяющиеся логи и сосредоточиться на аномалиях.
  • Pivot к трейсам и метрикам. С лог-записи, у которой есть trace_id, можно перейти в Traces Drilldown. С логов сервиса — в Metrics Drilldown по этому сервису.

Типичный сценарий

Алерт: у сервиса payment-api выросло число 5xx ошибок. Открыли Logs Drilldown. На стартовом экране — карточка сервиса с явным пиком. Клик по Show logs.

Открылась страница деталей. Вкладка Logs показывает все записи. Видно много одинаковых request failed — это шум. Переходим на вкладку Patterns, видим автоматически извлечённые паттерны. У одного из них объём резко вырос в момент инцидента — клик по Include, остальные шаблоны скрылись. Осталось несколько конкретных записей. Клик по одной — справа панель Log Details: видны все fields, есть trace_id=abc001.

Кнопка Open in Traces на этой панели переносит в Traces Drilldown, где этот трейс уже открыт. Без копирования ID, без ручного запроса.

Log patterns: главное оружие против шума

Loki умеет автоматически извлекать паттерны из потока логов. Строки вроде:

duration=255ms trace_id=abc001 GET /path/to/endpoint/2
duration=355ms trace_id=abc002 POST /path/to/endpoint/1

превращаются в один паттерн:

duration=<_> trace_id=<_> <_> /path/to/endpoint/<_>

Динамические значения становятся плейсхолдерами <_>. На странице Patterns видно каждый паттерн с графиком объёма и кнопками Include / Exclude. Исключили шумные паттерны — оставили только аномальные. Это быстрее и точнее, чем писать regex вручную.

Важно: для работы паттернов в loki.yaml должен быть включён pattern_ingester. По умолчанию он выключен. Если вкладка Patterns пустая — проверьте конфигурацию Loki.

Где помогает

  • Расследование инцидентов по логам. Без знания LogQL находите сервис, фильтруете по времени и полям, видите аномальные паттерны.
  • Борьба с шумом. Patterns — единственный способ быстро отфильтровать тысячи одинаковых health-check записей.
  • Pivot к трейсам. Каждый лог с trace_id — потенциальная дверь в распределённую трассировку.

Traces Drilldown

Traces Drilldown — приложение для исследования трейсов Tempo без TraceQL. Это самое мощное из четырёх приложений, потому что трассировка устроена сложнее всего, а расследование здесь даёт максимальный эффект.

Стартовый экран: три RED-метрики

Приложение открывается тремя графиками, построенными прямо из данных трейсов:

  • Rate — частота спанов. Сколько запросов в секунду проходит через систему.
  • Errors — доля ошибочных спанов. Сколько из них завершилось ошибкой.
  • Duration — распределение длительности. Тепловая карта, видно p50, p99 и хвост.

Эти три графика — классический RED-профиль (Rate, Errors, Duration), который SRE знают наизусть. Только построен он не из метрик Prometheus, а из самих спанов в Tempo. То есть работает даже там, где отдельных метрик нет, но инструментация трейсов есть.

Выбор метрики и фильтрация

Первый шаг расследования — выбор метрики. Кликнули по Errors — приложение перестроилось под анализ ошибок. Кликнули по Duration — переключились на анализ задержки.

Перед этим стоит выбрать Root spans или All spans. По умолчанию — root spans: только корневые спаны трейса, то есть входные запросы в сервис. Это удобно, когда смотришь на систему снаружи. Если хотите видеть все внутренние вызовы — переключитесь на All spans. Это важно для ошибок: ошибка может произойти глубоко внутри, а root span останется «здоровым».

Дальше — фильтры сверху. По умолчанию — несколько полезных лейблов: service.name, span.name, http.status_code, span.kind. Клик по значению добавляет фильтр. Каждый фильтр сужает выборку и перестраивает графики.

Вкладки для анализа

После выбора метрики появляются специализированные вкладки. Набор зависит от метрики.

Для метрики Errors:

  • Breakdown — разбивка ошибок по атрибутам. Смотрите, какой сервис, операция или статус-код даёт больше всего ошибок. Клик по значению — ещё один фильтр.
  • Root cause errors — таблица корневых причин. Атрибуты, которые сильнее всего коррелируют с ошибками.
  • Exceptions — список уникальных исключений с подсчётом частоты. Видно, какое именно исключение вылетает.
  • Comparison — сравнение «здоровых» и ошибочных трейсов. Показывает, какие атрибуты сильнее всего различаются между ними.
  • Errored traces — список конкретных ошибочных трейсов с временем и trace_id.

Для метрики Duration:

  • Breakdown — разбивка задержки по атрибутам. Видно, какой сервис или операция тормозит.
  • Root cause latency — таблица атрибутов, коррелирующих с ростом latency.
  • Slow traces — список самых медленных трейсов.
  • Comparison — сравнение быстрых и медленных трейсов.

Для метрики Rate:

  • Service structure — граф зависимостей между сервисами с указанием трафика. Видно, кто с кем общается и где узкое место.
  • Breakdown — разбивка трафика по атрибутам.
  • Traces — список конкретных трейсов.

Пример 1: найти причину роста ошибок

Алерт: error rate у payment-api вырос с 0.1% до 3%. Открыли Traces Drilldown.

  1. Выбираем Errors. Кликнули по графику Errors — интерфейс перестроился, появились вкладки для анализа ошибок.
  2. Breakdown. Смотрим разбивку по service.name. Видно: 90% ошибок приходится на payment-service. Это первый кандидат.
  3. Comparison. Сравниваем ошибочные трейсы со здоровыми. Видно: в ошибочных аномально часто встречается http.status_code=500 и db.statement=UPDATE accounts. Похоже, проблема в обновлении счёта.
  4. Exceptions. Открываем вкладку — видим конкретное исключение: org.postgresql.util.PSQLException: deadlock detected. Мёртвая блокировка в PostgreSQL.
  5. Errored traces. Список конкретных трейсов. Клик по одному — открывается таймлайн спанов. Видно, что внутри payment-service запрос к базе длился 4 секунды и завершился ошибкой, при этом внешний HTTP-ответ тоже ушёл с 500.

Время расследования — три минуты. Без Drilldown тот же путь занял бы 15-20 минут и требовал знания TraceQL.

Пример 2: найти медленный span

Алерт: latency p99 выросла с 200ms до 2s. Открыли Traces Drilldown.

  1. Выбираем Duration. Тепловая карта показывает явный всплеск задержки в определённое время.
  2. Фильтр по сервису. Чтобы не копаться во всём стеке, добавляем фильтр service.name=frontend. Теперь смотрим только на запросы, приходящие в frontend.
  3. Slow traces. Сортируем по убыванию длительности. Видим трейс на 3.5 секунды — явный выброс.
  4. Таймлайн спанов. Открываем трейс. Корневой span (frontend → recommendation) выполняется быстро. Но внутри есть дочерний span recommendation → postgres, который висит 3.2 секунды. Это и есть узкое место.

Дальше — копируем db.statement из этого спана, идём в Logs Drilldown, ищем медленные запросы к этой таблице, находим missing index. Расследование закончено.

Сохранение и загрузка фильтров

Любой набор фильтров можно сохранить как именованную конфигурацию. Это удобно, когда расследование занимает время и хочется вернуться к нему на следующий день. Так же удобно делиться конфигурацией с коллегой: вместо длинного TraceQL-запроса — короткая ссылка на сохранённый набор фильтров.

Где помогает

  • Расследование сложных distributed-систем. Десятки сервисов, спаны на каждом уровне — Drilldown превращает это в визуальный путь от симптома к причине.
  • Обучение новых инженеров. Traces — самый сложный тип телеметрии. Drilldown позволяет учиться на реальных трейсах без знания TraceQL.
  • Pivot к логам. Со страницы трейса можно перейти к логам конкретного спана — связь через trace_id сохраняется.

Profiles Drilldown

Profiles Drilldown — приложение для исследования профилей Pyroscope без TraceQL-запросов. Профилирование отвечает на вопрос «где именно в коде тратится CPU и память».

Что умеет

  • Обзор всех сервисов. Стартовый экран показывает список сервисов с графиком потребления CPU. Аномалии видны сразу.
  • Flame graphs. По клику на сервис открывается пламенный граф — стандартная визуализация профилей. Цветные блоки показывают функции, ширина — доля CPU. Клик по блоку увеличивает его.
  • Сравнение профилей. Можно выбрать два временных среза и сравнить flame graphs: видно, какая функция «распухла».
  • Pivot к трейсам и логам. С конкретного спана профиля можно перейти в Traces Drilldown или Logs Drilldown.

Типичный сценарий

Жалоба: сервис image-resizer стал потреблять втрое больше CPU, чем месяц назад. Открыли Profiles Drilldown. На стартовом экране — график по сервису, видим подъём. Кликаем.

Открылся flame graph текущего состояния. Самый широкий блок сверху — функция resize_image из пакета imaging. Кликаем по нему — увеличивается. Внутри видно, что основное время уходит на applyGaussianBlur. Раньше этого вызова не было — смотрим git blame, оказывается, месяц назад добавили blur в обработку превью.

Решение — откатить изменение или сделать blur асинхронным.

Где помогает

  • Оптимизация производительности. Когда метрика CPU растёт, профилирование показывает, какая именно функция виновата.
  • Поиск утечек памяти. Аллокации видны на flame graph как отдельные блоки. Видно, какой код выделяет больше всего памяти.
  • Расследование регрессий после деплоя. Сравнение flame graphs до и после релиза показывает, какая функция изменилась.

Связь между приложениями

Drilldown — это не четыре изолированных инструмента, а единая среда с прозрачными переходами между типами телеметрии. Типичный путь расследования идёт зигзагом.

Откуда Куда Что переносится
Metrics Drilldown Logs Drilldown Фильтр по instance или service
Metrics Drilldown Traces Drilldown Временной диапазон, фильтр по сервису
Logs Drilldown Traces Drilldown trace_id из конкретной записи лога
Traces Drilldown Logs Drilldown trace_id и временной диапазон спана
Profiles Drilldown Traces Drilldown Связанные спаны профиля
Любая панель Explore Все текущие фильтры как готовый запрос

Каждый переход сохраняет контекст: временной диапазон, фильтры, выбранный источник. Вы не теряете фокус расследования, переключаясь между типами телеметрии. Это радикально отличается от обычного Explore, где каждый переход в другой источник — это новый запрос, новый контекст, новая страница.

Когда какой инструмент использовать?

Ситуация Drilldown Explore Data Links
Быстрое расследование по логам сервиса Да — —
Произвольный запрос с уникальной логикой — Да —
Поиск аномальных паттернов в логах Да Медленно —
Анализ сложного распределённого запроса Да Да —
Стандартный переход «график → логи» с дашборда — — Да
Обучение нового инженера Да Сложно —
Свободный ad-hoc запрос по любому полю Ограниченно Да —

Drilldown — для скорости и типовых сценариев. Explore — для свободы и нестандартных запросов. Data Links — для связей с дашборда и перехода на другой инструмент.

Практическое правило: начинайте расследование в Drilldown. Если за две минуты не нашли причину — переходите в Explore через кнопку Open in Explore. Все фильтры перенесутся автоматически, и вы продолжите с того же места, но со свободой произвольного запроса.

Ограничения и подводные камни

Drilldown — мощный инструмент, но не волшебный. Несколько вещей, о которых стоит помнить.

Не все источники данных поддерживаются полностью. Для Logs Drilldown нужен именно Loki — другие источники логов не работают. Для Traces Drilldown — Tempo. Для Profiles Drilldown — Pyroscope. Если у вас Elasticsearch или Jaeger — Drilldown не поможет.

Patterns работают только при включённом pattern ingester в Loki. По умолчанию он выключен. Без него вкладка Patterns будет пустой. Это первое, что стоит проверить, если вкладка не показывает данные.

Фильтры ограничены набором поддерживаемых полей. В Traces Drilldown нельзя фильтровать по произвольному атрибуту — только по тем, что приложение само распознало. Если нужен редкий атрибут — переходите в Explore.

Глубокие запросы требуют Explore. Drilldown оптимизирован для типовых путей: обзор → детали → провал. Если нужен сложный коррелирующий запрос по трём источникам одновременно — это удел Explore с Split View.

Чек-лист SRE на дежурстве

Когда сработал алерт, не тратьте время на размышления «с чего начать».

  1. Откройте Drilldown того типа телеметрии, на который указывает алерт. Если алерт по error rate — Traces Drilldown. Если по аномалии в логах — Logs Drilldown.
  2. Сузьте выборку фильтрами. По сервису из алерта, по временному диапазону алерта, по статусу или лейблу.
  3. Используйте Breakdown и Comparison. Эти две вкладки дают ответ на вопрос «что отличается» быстрее всего.
  4. Провалитесь в конкретный объект. Таблица трейсов, логов или функций. Откройте один — посмотрите детали.
  5. Перейдите в смежный тип телеметрии. С трейса — в логи. С лога — в трейсы. С метрик — в логи. Контекст сохранится.
  6. Если не нашли за 5 минут — откройте Explore. Кнопка Open in Explore на любой панели перенесёт фильтры. Дальше — свобода запросов.
  7. Задокументируйте путь. Сохраните фильтры Traces Drilldown или скопируйте URL — это пригодится для postmortem.

Главное преимущество Drilldown не в том, что он показывает данные, которых нет в Explore. Данные те же. Преимущество — в скорости: от алерта до корневой причины за минуты, а не за десятки минут.


Далее: Заключение