Что такое A/B-тестирование и как его проводить в Google Optimize

Допустим, на сайте есть страничка с целевой кнопкой, по которой низкая конверсия в клик. Чтобы ее улучшить, мы выдвигаем гипотезу: если кнопка будет цветной, а не черно-белой, как сейчас, пользователи будут чаще на нее нажимать, конверсия вырастет. На самом деле мы не знаем, подтвердится ли гипотеза.

Для этого проводим тест и создаем второй вариант страницы: вариант А — с черной кнопкой, вариант В — новый, с цветной кнопкой. А затем запускаем тест.

Пользователи, которые приходят на страницы, делятся в пропорции 50 на 50:

• 50% видят вариант А, с черной кнопкой;
  
• 50% видят вариант B, с цветной кнопкой.
  
  

В конце теста измеряем конверсию кнопки и смотрим: если конверсия варианта B лучше, то выкатываем эту версию на сайт.

Допустим, вы уже оптимизировали все рекламные кампании и на 100% уверены, что приводите на сайт целевой трафик: у вас нет неэффективных ключевых слов, корректировки ставок везде правильно настроены и пр. При этом показатель CPA (Cost Per Action — оплата за действие) высокий: вы потратили много денег на трафик, а конверсий мало. Другой пример — проблема брошенных корзин или высокий показатель отказа.

И дело не в том, что рекламные кампании приводят нецелевой трафик. Зачастую проблемы кроются на самом сайте: нарушенная логика взаимодействия, непонятный интерфейс и пр. Метод A/Б-тестирования помогает справиться с этими проблемами.

Шаг 1. Исследование

Для начала проводим исследование на сайте. Делая UX-аудит, аналитик руководствуется общими правилами и субъективным мнением об удобстве ресурса. Но что удобно аналитику, не обязательно будет удобно всем пользователям. Для исключения субъективного фактора и проводят A/B-тестирования.

Шаг 2. Формирование гипотез

На этом этапе мы выдвигаем гипотезы. Например, что такие-то изменения на сайте могут улучшить показатель. Но могут и не улучшить, а наоборот — ухудшить. Это как раз и покажет A/Б-тест.

Шаг 3. Создание вариантов

Создаем разные варианты и тестируем: А — старый вариант, В — новый.

Шаг 4. Запуск теста

Далее запускаем тест. Так как гипотеза может не сработать и ухудшить показатели, проводим тест не на всем трафике, а только на части, например, на 10% пользователей: показываем им два разных варианта в соотношении 50/50.

Допустим, в день на сайт заходят 1000 человек. В случайном порядке мы отбираем только 10% для теста, т. е. 100 пользователей, а затем делим их на две группы пополам: 50 пользователей видят вариант А, а остальные 50 пользователей видят вариант В.

В случае негативного развития событий это позволит не просесть в конверсии в целом.

Шаг 5. Анализ результатов

Время проведения теста и число пользователей в двух выборках рассчитывается до запуска теста. По истечении заданного времени, когда в двух выборках наберется достаточное число посетителей, мы собираем статистику и анализируем результаты.

Шаг 6. Рекомендации по итогам теста

Если гипотеза подтвердится и победит вариант с изменениями, то мы пишем рекомендации по их внедрению на сайт.

В Google Optimize есть предустановленные целевые показатели: длительность сеанса, доход, показатель отказов, просмотры страниц и транзакции.

Помимо предустановленных целевых показателей, можно использовать цели из Google Analytics. Например, если нужно отследить клик по кнопке, то настраиваем в Google Analytics специальную цель, которая будет это фиксировать, и уже потом в Google Optimize выбираем ее.

В Google Optimize есть настройка аудитории, для которой будем показывать тест. Это могут быть пользователи, которые пришли по рекламе Google Ads. Аудиторию можно сегментировать по UTM-меткам, категориям устройств (только для мобильных или только для ПК), поведению (например, отбирать только новых пользователей).

Это очень важно, потому что посетители, которые уже взаимодействовали с сайтом, могут пугаться новинок: новых лендингов, интерфейсов. Им будет сложно сориентироваться, где и что находится. Как следствие, показатель отказов может увеличиться.

Поэтому перед запуском нужно подумать, на какую аудиторию запускать тест. Возможно, лучше ориентироваться на новых пользователей, которые до этого не взаимодействовали с сайтом.

Также можно таргетироваться по геоданным (например, настроить тест на определенный регион), браузерам и операционным системам.

Если версия Google Analytics 360 платная, то вам будет доступен Google Optimize 360. Благодаря этому вы сможете дополнительно таргетироваться на аудитории, созданные в Google Analytics.

Помимо прочего, можно сегментировать пользователей по параметрам запроса в URL, различным переменным в уровне данных, переменным JavaScript, собственным файлам cookie и коду JavaScript. Это уже некоторые технические моменты, которые обсуждаются с программистом на стороне сайта, по какому принципу будет отбираться аудитория для теста.

Перед тем, как начать A/Б-тест, убедитесь:

• на результаты не влияют аномалии и выбросы в генеральной совокупности;
  
• инструмент «деления» трафика работает безошибочно;
  
• данные отправляются в системы аналитики корректно.
  

Для этого проводят A/A-тест. Он похож на A/B-тест, только группам показывают не разные, а одинаковые версии страниц.

Если трафик и инструмент проведения A/A-теста не подвели, различий в показателях не будет. Логика такая: мы показываем одну и ту же страницу двум разным группам, и у них должна быть одинаковая конверсия. В этом случае можно говорить о том, что данные собираются корректно и аудитория однородна.

У нас в практике был случай: на сайте висела форма заказа, где нужно было вводить дату рождения. В форме был баг: в поле невозможно было ввести дату рождения, если пользователь младше 21 года, а на страницу в том числе приходили люди в возрасте от 18 до 21 года. Они не могли заполнить форму. Как следствие, показатель отказов увеличился.


В ходе теста мы заметили, что конверсия между вариантами А и B различается в 2-3 раза. Чтобы понять причины, мы посмотрели Вебвизор. В итоге выявили баг, который очень сильно повлиял на итоговый результат. Пришлось переделывать тест. Но вот если бы мы изначально на этом лендинге провели A/A-тест, мы бы обнаружили баг заранее: у одной из групп конверсия бы сильно отличалась.

Существуют специальные онлайн-калькуляторы, которые помогают быстро, без заморочек с различными формулами из статистики подсчитывать эти показатели. На скриншоте ниже один из таких калькуляторов. Мы вбиваем базовую конверсию (допустим, 20%) и минимальный эффект, который хотим от нее зафиксировать, например, 5%. Пять процентов относительно 20% — это +-1%.

Калькулятор показывает, что для фиксации такого изменения нужно 25 255 пользователей на каждый из вариантов. Соответственно, чтобы провести тест, необходимо 25 255 умножить на количество вариантов (у нас их 2). В итоге получаем цифру 50 510 пользователей. А дальше смотрим текущий трафик. Если на сайт в среднем приходят, например, 2000 пользователей, то делим 50 510 на 2000. Получается, на проведение теста нужно примерно 25 дней.

При определении длительности теста важно знать всплески активности у аудитории.

Возможные причины всплесков:

• будни или выходные;
  
• праздники (увеличение спроса на «подарочные» товары);
  
• распродажи, акции, маркетинговые активности (скидки увеличивают активность аудитории, меняя покупательское поведение);
  
• особые события (например, покупки товаров для школы в августе);
  
• сезонность продукта (например, обогреватели);
  
• деятельность конкурентов (конкуренты снизили цены на продукт, и активность ваших пользователей уменьшилась);
  
• изменение в политической и экономической обстановке (кризис, рост цен, запрет на торговлю товаром, увеличение его стоимости из-за дополнительных пошлин).
  

Пример с автомобильной сферой: был период, когда автомобили резко подорожали. Соответственно, если вы в этот период проводили A/B-тест, то результаты могут быть недостоверными из-за роста цен.

Или, например, ваш клиент — магазин детских игрушек, и вы хотите приступить к тесту гипотезы. Вы рассчитали в онлайн-калькуляторе, что длительность теста 4 недели, а сейчас, допустим, 15 декабря. Лучшим решением будет отложить запуск теста на конец января, потому что в новогодние праздники покупательская активность сильно меняется (если запустить тест 15 декабря, и он будет длиться 4 недели, то новогодние праздники точно захватим). Все подтвержденные гипотезы могут показать совсем другие результаты, например, весной, когда покупательское поведение изменится.

Помимо всплесков активности, следует понимать цикл реализации измеряемой метрики. Чаще всего он связан с циклом принятия решения о покупке — временем, прошедшим от первой мысли о приобретении товара до оформления заказа. Сами понимаете, что цикл принятия решения о покупки квартиры намного больше, чем у покупки товара в интернет-магазине.

Чтобы понять, как интерпретировать результаты, приведем пример. Для одного клиента мы тестировали два лендинга, которые различались формой: на изначальном варианте (на скриншотах ниже он будет обозначен как оригинал) можно было отправить заявку на займ с начислением на карту, на втором варианте — и с начислением на карту, и наличными.

На скриншоте ниже представлена статистика из веб-интерфейса Google Optimize. В таблице по вариантам есть различные показатели. Вероятность превосходства — это показатель, который в процентах отражает вероятность того, что один вариант лучше другого на данный момент времени.

В нашем примере исходный вариант оказался лучше.

Это смоделированный коэффициент конверсии (собственная модель Google Optimize), который сообщает пределы коэффициента конверсии в долгосрочной перспективе.

При подсчете данного показателя учитываются только те сеансы, которые участвовали в тесте, а также связанные с ними конверсии.

Изучив графики кумулятивных, или накапливаемых данных, можно увидеть следующую картину. Например, тест длился 14 дней. Если построить график по кумулятивным данным, в точке первого дня будут значения метрик за этот день, в точке второго дня — набор метрик за два дня, в точке третьего — набор за три.

Вариант 2 стабильно хуже по накопленным показателям, чем оригинал. В начале теста были колебания конверсии в обеих группах. График стабилизировался только к концу.

Показывает нижнюю и верхнюю границу улучшений, которые ожидаются для данного варианта. Так, если выкатить на сайт Вариант 2, это приведет к снижению конверсии в худшем случае на 40%, а в лучшем — на 23% относительно конверсии оригинала.

По итогам завершения эксперимента можем говорить о том, что изменения на лендинге приведут к снижению общей конверсии по цели.

Да, такое бывает, что предложенный вариант не срабатывает и ухудшает показатели. Напоминаю, что тест проводится не на 100% трафике сайта, а только на его небольшой части, поэтому такой показатель варианта 2 не сильно сказался на итоговой конверсии.

Таким образом, метод A/B-тестирования помогает точно измерить эффект от реализованного изменения. Поэтому даже если гипотеза не подтвердилась, не стоит отчаиваться. Просто тестируйте новые варианты, чтобы улучшить целевые показатели.