Как выгрузить сырые данные из Яндекс Метрики? Обзор Logs API

В отчетах Яндекс Метрики (Yandex Metrika) можно посмотреть информацию в разрезах по группировкам: ОС, типу, модели устройства, ГЕО и т. д. С агрегированными сведениями удобно работать: они уже собраны, вы видите готовые показатели эффективности и можете сразу сделать выводы.

Однако для данных, доступных в стандартных отчетах Яндекс Метрики, существует ограничение, не позволяющее в рамках одного запроса использовать более семи группировок. В этом случае именно сырые данные позволяют получить новые статистические сведения, помимо тех, которые предоставляют отчеты.

Если вы хотите получать сырые данные из Яндекс Метрики, есть два способа:

1. Использовать обычный API Метрики. Но он позволяет вытащить информацию только по заданному списку группировок, ограниченному 10-ю группировками в запросе.
2. Получать сырые сведения из хранилища данных Яндекс Метрики с помощью Logs API.

Подробнее о втором способе и поговорим далее.

Агрегированная или обобщенная информация, которая отображается в интерфейсе Метрики или передается через обычный API отчетов, рассчитывается для конкретной группы посетителей. Например, показатель отказов вычисляется для всех визитов с определенного браузера или источника трафика. В итоге мы не можем посмотреть отчеты в разрезе отдельных посещений и получить информацию о времени или Client ID визита.

При этом в самом хранилище Метрики хранятся сырые данные (логи) — записи об отдельных визитах и просмотрах страниц каждым пользователем. Именно эту информацию в формате tsv можно выгрузить через Logs API.

При этом каждая запись дополнена полезными сведениями из Яндекс Метрики (Yandex Metrika). Она включает подробные данные по Директу и электронной коммерции, город и страну посетителя, а также технические сведения о визите. Например, модель мобильного телефона, браузер, с которого зашел пользователь.

Таким образом, Logs API позволяет получать сырые сведения, собираемые Яндекс Метрикой. Это будет полезно пользователям сервиса, которые хотят самостоятельно обрабатывать статистическую информацию и использовать ее для решения аналитических задач или импортировать в другие системы аналитики.

При этом стоит учитывать, что данные в Logs API и в интерфейсе Яндекс Метрики могут различаться. Это связано с тем, что в интерфейсе применяются дополнительные алгоритмы обработки информации. Например, алгоритмы, которые определяют качество конверсий, алгоритмы антифрода, учет поэффициентов и пр.

Воронка показывает распределение числа пользователей по последовательным шагам «пути клиента» и помогает понять, на каких шагах по пути к конверсии пользователи отваливаются. Это позволяет увеличить конверсию от одного шага к другому. В Метрике воронки частично реализованы через «Составную цель». Однако у нее есть недостатки: все шаги в составной цели должны быть выполнены в рамках одного визита посетителя. Также в качестве шага нельзя использовать офлайн-конверсии, например, звонки.

Неагрегированные данные позволяют отслеживать историю переходов на сайт для каждого пользователя в отдельности и выделять закономерности, которые играют важную роль в развитии вашего бизнеса. Например, можно изучить, какие каналы приводят посетителей на каждом шаге воронки.

Кроме воронок по целевым действиям, можно создать карту путей по сайту. Для крупных ресурсов карту путей трудно анализировать из-за большого количества страниц. Однако бывает полезно изучить целевые страницы: посмотреть, откуда пользователи на нее попадают и куда уходят потом.

Анализ можно дополнить примерной информацией о времени пребывания пользователя на странице — в логах доступно время открытия каждой страницы. Например, если для интернет-магазина в воронке заказа все шаги расположены на отдельных страницах, то можно примерно оценить, сколько времени пользователь провел на сайте, изучая условия и выбирая способ доставки.

Аналогичную визуализацию можно построить для источников трафика. Это позволит увидеть основные пути перетока пользователей между источниками.

Когорта — это группа людей, которые впервые посетили сайт в определенный период. Когорты позволяют проследить возвращаемость пользователей и их среднее время жизни (Retention и Life Time), чтобы оценить окупаемость привлечения аудитории. Также с помощью когорт вы можете между собой сравнивать по бизнес-показателям людей, привлеченных в разное время или с разных источников трафика.

В Яндекс Метрике доступно несколько моделей атрибуции, которые не всегда соотносятся с бизнес-процессами конкретной компании, например, с долгим сроком сделки в недвижимости.

Используя данные логов по достижению целей вместе с информацией из UTM-меток и любыми другими необходимыми данными, вы можете легко построить собственную модель атрибуции. Она позволит более детально анализировать вклад разных маркетинговых каналов в конверсии. Например, изучить, как медийная реклама влияет на продажи, если она хотя бы один раз приводила пользователя на сайт, но при этом не была последним или первым источником перехода.

Сырые данные можно объединять с любыми другими источниками сведений (по сравнению с ограниченным набором интеграций, доступном через интерфейс). Например, это позволит аккумулировать в одном месте все статистические данные по рекламным расходам.

Сейчас дополнительную информацию о пользователях можно объединить с данными Метрики через параметры посетителей. Однако это не всегда бывает удобно, или у компании нет желания передавать сведения пользователей сторонним площадкам.

Иногда цифры в других системах аналитики не соотносятся с данными в Яндекс Метрике. Такие расхождения могут случаться из-за разных принципов подсчета. В этом случае сырые сведения помогут понять, как каждая система обрабатывает информацию. Как следствие, сможете определить для себя тот подход, который в большей степени отвечает вашим задачам.

1. Получить доступ к API путём создания нового приложения на странице OAuth. Приложение получит доступ к данным с помощью специального ключа, называемого токеном.
2. После получения токена, например, DAQ5fAEHrQVBAAnn-ZX3DPJUG04BkpRrzvov8w5, необходимо сформировать запрос к Logs API, который создаёт лог. Лог формируется на стороне Яндекс Метрики в течение определённого времени. Оно зависит от того, сколько параметров визита или просмотра вы хотите получить, а также от диапазона времени, за который нужен лог. Метод «Создание лога запросов» создаёт запрос на подготовку отчёта, в котором будут нужные вам данные.
3. Далее нужно получить статус лога: узнать, готов ли он для скачивания. Для этой цели существует метод «Информация о запросе логов».
4. Чтобы скачать подготовленный лог, понадобится метод «Загрузка части подготовленных логов обработанного запроса». После скачивания можно избавить Яндекс от хранения лишней информации и очистить лог с помощью метода «Очистка подготовленных для загрузки логов обработанного запроса».

Полученные логи можно загрузить в свою базу данных и далее использовать любые средства анализа/визуализации информации. При этом выгрузку сведений из Метрики можно настроить по расписанию.

Возможно, работа с сырыми данными сначала покажется вам сложной и запутанной. Но стоит понимать, что это откроет вам массу новых возможностей и в результате окупит время, которое вы потратили на то, чтобы разобраться в вопросе. Как только освоите интерфейс, сможете оперативно решать поставленные задачи.

Какие еще возможности откроет работа с сырыми данными Яндекс Метрики:

• проведение факторного анализа конверсий и других показателей;
  
• более глубокий анализ различных метрик и зависимостей;
  
• построение визуализаций, которые недоступны в стандартных отчетах Метрики;
  
• применение моделей машинного обучения для проверки гипотез на «боевых» данных;
  
• автоматизация типовых рутинных аналитических задач.