Grafana Drilldown: исследование данных без запросов¶
В три часа ночи дежурный SRE открывает Grafana и видит алерт: error rate у payment-api вырос с 0.1% до 3%. Что делать? Раньше первый шаг был один — открыть Explore, написать PromQL, потом переключиться в Loki с LogQL, потом в Tempo с TraceQL. Сейчас этот же путь проходится без единой строчки запроса, только кликами по графикам и фильтрам. За это отвечает набор приложений Grafana Drilldown.
Это не отдельный продукт и не новый язык запросов. Это набор из четырёх приложений в левом меню Grafana, по одному на каждый тип телеметрии. Они превращают расследование инцидента в последовательность кликов: общий график → фильтр по сервису → список ошибок → конкретный трейс → временная шкала спанов. Всё, что раньше требовало знания PromQL, LogQL и TraceQL, теперь делается мышкой.
Идея: queryless exploration¶
Главная идея Drilldown — снизить порог входа. Не каждый инженер на дежурстве одинаково хорошо пишет запросы во всех трёх языках. Drilldown берёт на себя «перевод» с визуальных действий пользователя в запросы, которые Grafana шлёт в Prometheus, Loki, Tempo или Pyroscope. Пользователь видит графики и таблицы, под приложением работают обычные запросы — просто сгенерированные автоматически.
Это не замена Explore. Explore — это свобода: любой запрос, любой источник, любая комбинация. Drilldown — это скорость: готовые сценарии для типовых расследований. На любой панели Drilldown есть ссылка «Open in Explore», которая переносит текущий набор фильтров в обычный Explore как готовый запрос. Если queryless-режима не хватило — переключились в полный и дописали руками.
С февраля 2025 года приложения Explore Logs, Explore Metrics, Explore Traces и Explore Profiles были переименованы в Logs Drilldown, Metrics Drilldown, Traces Drilldown и Profiles Drilldown. Если в вашей документации или скриншотах встречаются старые названия — это то же самое, просто старая марка.
Состав набора¶
Drilldown покрывает четыре типа телеметрии. У каждого типа — своё приложение в меню, свой источник данных, свои сценарии расследования.
| Приложение | Источник | Что покрывает |
|---|---|---|
| Metrics Drilldown | Prometheus, Mimir и совместимые | Метрики: CPU, RPS, latency, error rate |
| Logs Drilldown | Loki | Логи всех сервисов |
| Traces Drilldown | Tempo | Распределённые трейсы и спаны |
| Profiles Drilldown | Pyroscope | Профили CPU, памяти, аллокаций |
Все четыре ставятся как плагины Grafana и включаются через меню Drilldown в левой панели. Если приложение не установлено — пункта меню просто нет, остальные работают как обычно.
Как попасть в Drilldown¶
В левом меню Grafana найдите раздел Drilldown. Внутри — четыре подпункта: Metrics, Logs, Traces, Profiles. Клик по любому открывает стартовый экран соответствующего приложения.
Что нужно, чтобы приложение заработало:
- Установленный плагин. В Grafana Cloud все четыре включены по умолчанию. В self-hosted — ставятся отдельно:
grafana-metricsdrilldown-app,grafana-lokiexplore-app,grafana-exploretraces-app,grafana-pyroscope-app. - Источник данных. У каждого приложения свой: Prometheus или Mimir для Metrics, Loki для Logs, Tempo для Traces, Pyroscope для Profiles. Если источника нет — приложение откроется с пустым состоянием и предложит выбрать data source.
- Права на чтение источника. Пользователь должен иметь доступ к запросам в соответствующий data source. Роль Viewer с правом
data sources:exploreобычно достаточно.
Совет: если вы только разворачиваете Grafana и хотите попробовать Drilldown без своих данных — откройте Grafana Play. Там есть демостенды с реальными метриками, логами и трейсами, на которых все четыре приложения работают в полном объёме.
Общий паттерн: от общего к частному¶
Все четыре приложения построены по одному принципу. Стартовый экран показывает картину по всем сервисам сразу. Дальше — последовательность сужений.
- Обзор всех сущностей. Список сервисов, метрик, трейсов или процессов с агрегированными метриками и превью.
- Выбор сущности. Клик по сервису, метрике или трейсу переносит на страницу деталей.
- Фильтрация по меткам и полям. На странице деталей — фильтры сверху. Каждый клик сужает выборку.
- Анализ через специализированные вкладки. У каждого приложения свой набор вкладок для разных типов расследования.
- Провал в конкретный объект. Таблица конкретных логов, трейсов или функций. Клик открывает полные детали.
- Переход в Explore. Когда queryless-режима не хватает — ссылка на любой панели переносит фильтры в обычный Explore как готовый запрос.
Этот паттерн повторяется от приложения к приложению почти дословно. Один раз разобравшись с одним, остальные осваиваются за минуты.
Metrics Drilldown¶
Metrics Drilldown — приложение для исследования метрик без PromQL. Открыли — увидели список метрик с автоматически подобранной визуализацией для каждой. Кликнули по метрике — открылась разбивка по лейблам.
Что умеет¶
- Сегментация по лейблам. Выбрали метрику — увидели все её лейблы и значения. Клик по значению добавляет фильтр, выборка сужается. Никакого
{job="..."}руками. - Автовизуализация по типу метрики. Counter превращается в rate-график автоматически. Gauge — в шкалу. Histogram — в heatmap. Не надо думать, какой тип визуализации подходит.
- Связанные метрики. Приложение само предлагает соседние метрики: если вы смотрите
http_requests_total, рядом появитсяhttp_request_duration_secondsиhttp_requests_in_progress. - Pivot к логам. С графика метрики можно перейти к логам соответствующего сервиса в Logs Drilldown — связь сохраняется, фильтры переносятся.
Типичный сценарий¶
Стартовый экран показывает все метрики, разбитые по префиксам. Вы заметили аномалию на графике node_cpu_seconds_total. Кликнули — открылась страница метрики. Сверху — выбор лейблов: instance, mode, cpu. Применили mode="idle" — увидели, что на двух инстансах idle резко упал. Дальше — клик по instance="node-7" — график только по этому хосту. Увидели, что виновник — конкретная машина.
Если на этом шаге хочется посмотреть, что в логах у сервисов на этом хосте — кнопка Open in Logs перенесёт вас в Logs Drilldown с уже подставленным фильтром по instance=node-7. Переключение между типами телеметрии — одна ссылка, без потери контекста.
Где помогает¶
- Расследование деградации по метрикам. Не надо вспоминать PromQL — клик по графику, фильтр по лейблу, поиск аномалии.
- Онбординг новых инженеров. Те, кто ещё не пишет PromQL свободно, получают работающий инструмент с первого дня.
- Быстрый pivot к логам. Когда аномалия найдена — один клик до логов соответствующего среза.
Logs Drilldown¶
Logs Drilldown — приложение для исследования логов Loki без LogQL. Стартовый экран показывает все сервисы, отсортированные по объёму логов. Клик по сервису — страница деталей с логами и фильтрами.
Что умеет¶
- Обзор всех сервисов. На стартовом экране — карточки сервисов с графиком объёма логов и превью последних записей. Не надо знать ни лейблов, ни запросов.
- Превью лог-записей. Клик по строке лога открывает её в контексте: что было до и после, какие поля и labels у неё есть.
- Фильтрация по лейблам и полям. На странице деталей — вкладки Labels, Fields, Patterns. Каждая показывает разбивку по значениям с графиками объёма. Клик по значению добавляет фильтр.
- Log patterns. Автоматически извлечённые паттерны похожих строк. Позволяют скрыть шумные повторяющиеся логи и сосредоточиться на аномалиях.
- Pivot к трейсам и метрикам. С лог-записи, у которой есть
trace_id, можно перейти в Traces Drilldown. С логов сервиса — в Metrics Drilldown по этому сервису.
Типичный сценарий¶
Алерт: у сервиса payment-api выросло число 5xx ошибок. Открыли Logs Drilldown. На стартовом экране — карточка сервиса с явным пиком. Клик по Show logs.
Открылась страница деталей. Вкладка Logs показывает все записи. Видно много одинаковых request failed — это шум. Переходим на вкладку Patterns, видим автоматически извлечённые паттерны. У одного из них объём резко вырос в момент инцидента — клик по Include, остальные шаблоны скрылись. Осталось несколько конкретных записей. Клик по одной — справа панель Log Details: видны все fields, есть trace_id=abc001.
Кнопка Open in Traces на этой панели переносит в Traces Drilldown, где этот трейс уже открыт. Без копирования ID, без ручного запроса.
Log patterns: главное оружие против шума¶
Loki умеет автоматически извлекать паттерны из потока логов. Строки вроде:
duration=255ms trace_id=abc001 GET /path/to/endpoint/2
duration=355ms trace_id=abc002 POST /path/to/endpoint/1
превращаются в один паттерн:
duration=<_> trace_id=<_> <_> /path/to/endpoint/<_>
Динамические значения становятся плейсхолдерами <_>. На странице Patterns видно каждый паттерн с графиком объёма и кнопками Include / Exclude. Исключили шумные паттерны — оставили только аномальные. Это быстрее и точнее, чем писать regex вручную.
Важно: для работы паттернов в loki.yaml должен быть включён pattern_ingester. По умолчанию он выключен. Если вкладка Patterns пустая — проверьте конфигурацию Loki.
Где помогает¶
- Расследование инцидентов по логам. Без знания LogQL находите сервис, фильтруете по времени и полям, видите аномальные паттерны.
- Борьба с шумом. Patterns — единственный способ быстро отфильтровать тысячи одинаковых health-check записей.
- Pivot к трейсам. Каждый лог с
trace_id— потенциальная дверь в распределённую трассировку.
Traces Drilldown¶
Traces Drilldown — приложение для исследования трейсов Tempo без TraceQL. Это самое мощное из четырёх приложений, потому что трассировка устроена сложнее всего, а расследование здесь даёт максимальный эффект.
Стартовый экран: три RED-метрики¶
Приложение открывается тремя графиками, построенными прямо из данных трейсов:
- Rate — частота спанов. Сколько запросов в секунду проходит через систему.
- Errors — доля ошибочных спанов. Сколько из них завершилось ошибкой.
- Duration — распределение длительности. Тепловая карта, видно p50, p99 и хвост.
Эти три графика — классический RED-профиль (Rate, Errors, Duration), который SRE знают наизусть. Только построен он не из метрик Prometheus, а из самих спанов в Tempo. То есть работает даже там, где отдельных метрик нет, но инструментация трейсов есть.
Выбор метрики и фильтрация¶
Первый шаг расследования — выбор метрики. Кликнули по Errors — приложение перестроилось под анализ ошибок. Кликнули по Duration — переключились на анализ задержки.
Перед этим стоит выбрать Root spans или All spans. По умолчанию — root spans: только корневые спаны трейса, то есть входные запросы в сервис. Это удобно, когда смотришь на систему снаружи. Если хотите видеть все внутренние вызовы — переключитесь на All spans. Это важно для ошибок: ошибка может произойти глубоко внутри, а root span останется «здоровым».
Дальше — фильтры сверху. По умолчанию — несколько полезных лейблов: service.name, span.name, http.status_code, span.kind. Клик по значению добавляет фильтр. Каждый фильтр сужает выборку и перестраивает графики.
Вкладки для анализа¶
После выбора метрики появляются специализированные вкладки. Набор зависит от метрики.
Для метрики Errors:
- Breakdown — разбивка ошибок по атрибутам. Смотрите, какой сервис, операция или статус-код даёт больше всего ошибок. Клик по значению — ещё один фильтр.
- Root cause errors — таблица корневых причин. Атрибуты, которые сильнее всего коррелируют с ошибками.
- Exceptions — список уникальных исключений с подсчётом частоты. Видно, какое именно исключение вылетает.
- Comparison — сравнение «здоровых» и ошибочных трейсов. Показывает, какие атрибуты сильнее всего различаются между ними.
- Errored traces — список конкретных ошибочных трейсов с временем и trace_id.
Для метрики Duration:
- Breakdown — разбивка задержки по атрибутам. Видно, какой сервис или операция тормозит.
- Root cause latency — таблица атрибутов, коррелирующих с ростом latency.
- Slow traces — список самых медленных трейсов.
- Comparison — сравнение быстрых и медленных трейсов.
Для метрики Rate:
- Service structure — граф зависимостей между сервисами с указанием трафика. Видно, кто с кем общается и где узкое место.
- Breakdown — разбивка трафика по атрибутам.
- Traces — список конкретных трейсов.
Пример 1: найти причину роста ошибок¶
Алерт: error rate у payment-api вырос с 0.1% до 3%. Открыли Traces Drilldown.
- Выбираем Errors. Кликнули по графику Errors — интерфейс перестроился, появились вкладки для анализа ошибок.
- Breakdown. Смотрим разбивку по
service.name. Видно: 90% ошибок приходится наpayment-service. Это первый кандидат. - Comparison. Сравниваем ошибочные трейсы со здоровыми. Видно: в ошибочных аномально часто встречается
http.status_code=500иdb.statement=UPDATE accounts. Похоже, проблема в обновлении счёта. - Exceptions. Открываем вкладку — видим конкретное исключение:
org.postgresql.util.PSQLException: deadlock detected. Мёртвая блокировка в PostgreSQL. - Errored traces. Список конкретных трейсов. Клик по одному — открывается таймлайн спанов. Видно, что внутри
payment-serviceзапрос к базе длился 4 секунды и завершился ошибкой, при этом внешний HTTP-ответ тоже ушёл с 500.
Время расследования — три минуты. Без Drilldown тот же путь занял бы 15-20 минут и требовал знания TraceQL.
Пример 2: найти медленный span¶
Алерт: latency p99 выросла с 200ms до 2s. Открыли Traces Drilldown.
- Выбираем Duration. Тепловая карта показывает явный всплеск задержки в определённое время.
- Фильтр по сервису. Чтобы не копаться во всём стеке, добавляем фильтр
service.name=frontend. Теперь смотрим только на запросы, приходящие в frontend. - Slow traces. Сортируем по убыванию длительности. Видим трейс на 3.5 секунды — явный выброс.
- Таймлайн спанов. Открываем трейс. Корневой span (
frontend → recommendation) выполняется быстро. Но внутри есть дочерний spanrecommendation → postgres, который висит 3.2 секунды. Это и есть узкое место.
Дальше — копируем db.statement из этого спана, идём в Logs Drilldown, ищем медленные запросы к этой таблице, находим missing index. Расследование закончено.
Сохранение и загрузка фильтров¶
Любой набор фильтров можно сохранить как именованную конфигурацию. Это удобно, когда расследование занимает время и хочется вернуться к нему на следующий день. Так же удобно делиться конфигурацией с коллегой: вместо длинного TraceQL-запроса — короткая ссылка на сохранённый набор фильтров.
Где помогает¶
- Расследование сложных distributed-систем. Десятки сервисов, спаны на каждом уровне — Drilldown превращает это в визуальный путь от симптома к причине.
- Обучение новых инженеров. Traces — самый сложный тип телеметрии. Drilldown позволяет учиться на реальных трейсах без знания TraceQL.
- Pivot к логам. Со страницы трейса можно перейти к логам конкретного спана — связь через
trace_idсохраняется.
Profiles Drilldown¶
Profiles Drilldown — приложение для исследования профилей Pyroscope без TraceQL-запросов. Профилирование отвечает на вопрос «где именно в коде тратится CPU и память».
Что умеет¶
- Обзор всех сервисов. Стартовый экран показывает список сервисов с графиком потребления CPU. Аномалии видны сразу.
- Flame graphs. По клику на сервис открывается пламенный граф — стандартная визуализация профилей. Цветные блоки показывают функции, ширина — доля CPU. Клик по блоку увеличивает его.
- Сравнение профилей. Можно выбрать два временных среза и сравнить flame graphs: видно, какая функция «распухла».
- Pivot к трейсам и логам. С конкретного спана профиля можно перейти в Traces Drilldown или Logs Drilldown.
Типичный сценарий¶
Жалоба: сервис image-resizer стал потреблять втрое больше CPU, чем месяц назад. Открыли Profiles Drilldown. На стартовом экране — график по сервису, видим подъём. Кликаем.
Открылся flame graph текущего состояния. Самый широкий блок сверху — функция resize_image из пакета imaging. Кликаем по нему — увеличивается. Внутри видно, что основное время уходит на applyGaussianBlur. Раньше этого вызова не было — смотрим git blame, оказывается, месяц назад добавили blur в обработку превью.
Решение — откатить изменение или сделать blur асинхронным.
Где помогает¶
- Оптимизация производительности. Когда метрика CPU растёт, профилирование показывает, какая именно функция виновата.
- Поиск утечек памяти. Аллокации видны на flame graph как отдельные блоки. Видно, какой код выделяет больше всего памяти.
- Расследование регрессий после деплоя. Сравнение flame graphs до и после релиза показывает, какая функция изменилась.
Связь между приложениями¶
Drilldown — это не четыре изолированных инструмента, а единая среда с прозрачными переходами между типами телеметрии. Типичный путь расследования идёт зигзагом.
| Откуда | Куда | Что переносится |
|---|---|---|
| Metrics Drilldown | Logs Drilldown | Фильтр по instance или service |
| Metrics Drilldown | Traces Drilldown | Временной диапазон, фильтр по сервису |
| Logs Drilldown | Traces Drilldown | trace_id из конкретной записи лога |
| Traces Drilldown | Logs Drilldown | trace_id и временной диапазон спана |
| Profiles Drilldown | Traces Drilldown | Связанные спаны профиля |
| Любая панель | Explore | Все текущие фильтры как готовый запрос |
Каждый переход сохраняет контекст: временной диапазон, фильтры, выбранный источник. Вы не теряете фокус расследования, переключаясь между типами телеметрии. Это радикально отличается от обычного Explore, где каждый переход в другой источник — это новый запрос, новый контекст, новая страница.
Drilldown vs Explore vs Data Links¶
Когда какой инструмент использовать?
| Ситуация | Drilldown | Explore | Data Links |
|---|---|---|---|
| Быстрое расследование по логам сервиса | Да | — | — |
| Произвольный запрос с уникальной логикой | — | Да | — |
| Поиск аномальных паттернов в логах | Да | Медленно | — |
| Анализ сложного распределённого запроса | Да | Да | — |
| Стандартный переход «график → логи» с дашборда | — | — | Да |
| Обучение нового инженера | Да | Сложно | — |
| Свободный ad-hoc запрос по любому полю | Ограниченно | Да | — |
Drilldown — для скорости и типовых сценариев. Explore — для свободы и нестандартных запросов. Data Links — для связей с дашборда и перехода на другой инструмент.
Практическое правило: начинайте расследование в Drilldown. Если за две минуты не нашли причину — переходите в Explore через кнопку Open in Explore. Все фильтры перенесутся автоматически, и вы продолжите с того же места, но со свободой произвольного запроса.
Ограничения и подводные камни¶
Drilldown — мощный инструмент, но не волшебный. Несколько вещей, о которых стоит помнить.
Не все источники данных поддерживаются полностью. Для Logs Drilldown нужен именно Loki — другие источники логов не работают. Для Traces Drilldown — Tempo. Для Profiles Drilldown — Pyroscope. Если у вас Elasticsearch или Jaeger — Drilldown не поможет.
Patterns работают только при включённом pattern ingester в Loki. По умолчанию он выключен. Без него вкладка Patterns будет пустой. Это первое, что стоит проверить, если вкладка не показывает данные.
Фильтры ограничены набором поддерживаемых полей. В Traces Drilldown нельзя фильтровать по произвольному атрибуту — только по тем, что приложение само распознало. Если нужен редкий атрибут — переходите в Explore.
Глубокие запросы требуют Explore. Drilldown оптимизирован для типовых путей: обзор → детали → провал. Если нужен сложный коррелирующий запрос по трём источникам одновременно — это удел Explore с Split View.
Чек-лист SRE на дежурстве¶
Когда сработал алерт, не тратьте время на размышления «с чего начать».
- Откройте Drilldown того типа телеметрии, на который указывает алерт. Если алерт по error rate — Traces Drilldown. Если по аномалии в логах — Logs Drilldown.
- Сузьте выборку фильтрами. По сервису из алерта, по временному диапазону алерта, по статусу или лейблу.
- Используйте Breakdown и Comparison. Эти две вкладки дают ответ на вопрос «что отличается» быстрее всего.
- Провалитесь в конкретный объект. Таблица трейсов, логов или функций. Откройте один — посмотрите детали.
- Перейдите в смежный тип телеметрии. С трейса — в логи. С лога — в трейсы. С метрик — в логи. Контекст сохранится.
- Если не нашли за 5 минут — откройте Explore. Кнопка Open in Explore на любой панели перенесёт фильтры. Дальше — свобода запросов.
- Задокументируйте путь. Сохраните фильтры Traces Drilldown или скопируйте URL — это пригодится для postmortem.
Главное преимущество Drilldown не в том, что он показывает данные, которых нет в Explore. Данные те же. Преимущество — в скорости: от алерта до корневой причины за минуты, а не за десятки минут.
Далее: Заключение