Шаг 1. Цель
Обозначьте цель, которую хотите достичь с помощью теста. Например, снизить показатель отказов или увеличить число просмотров видеоролика.
Нам нужно было понять, на какую промостраницу сайта лучше вести рекламную кампанию.
Шаг 2. Целевой показатель
Обозначьте показатель, на основании которого вы будете принимать решение, какой вариант тестирования сработал лучше. Если цель — увеличить число просмотров видеоролика, то показатель, соответственно, — число просмотров видеоролика или количество кликов на кнопку запуска видео и т. п.
В нашем случае ориентиром служил показатель конверсии по цели в Яндекс Метрике, которая собирала успешные отправки форм. Также в эксперименте Яндекс Метрики можно выбрать два дополнительных показателя, если хотите увидеть результаты не только по основному. Мы использовали эту возможность и в качестве дополнительных показателей обозначили конверсию по цели, собирающей звонки, и показатель отказов.
Шаг 3. Гипотеза
Изучите продукт и выдвинете гипотезу. Если добавим элемент Х, то произойдет увеличение показателя.
Наша гипотеза состояла в том, что конверсия на варианте А будет отличаться от конверсии на варианте В. Это поможет понять, куда лучше вести трафик.
Шаг 4. Аудитория
Определите, какой трафик хотите исследовать. Например, пользователей по определенной рекламной кампании, пользователей, которые уже были на вашем сайте, или пользователей только мобильных устройств. Если нужно, подготовьте рекламные кампании, добавьте utm-метки.
Также определите, сколько процентов трафика вы планируете использовать: 100% или, например, 70%.
Допустим, целевой показатель — количество заполненных форм, и при этом вы выбираете 100% трафика. Если по одному варианту целевой показатель сильно ниже, то во время теста вы упустите возможные заявки от части аудитории, которые могли бы получить, если бы тест не проводился. А если будете использовать 70%, то упустите заявки только для 35% трафика. Но учтите: чем ниже доля тестируемого трафика, чем выше длительность теста (см. шаг 6).
Мы тестировали рекламный трафик с долей 100% по определенному региону с оптимизацией на цель, конверсия по которой используется как целевой показатель исследования.
Шаг 5. Варианты тестирования
Определите, что из себя будет представлять контрольный вариант (А) и сравниваемый вариант (В). Например, в варианте А кнопка зеленого цвета, в варианте В — красного. В Яндекс Метрике при создании эксперимента можно создавать варианты с простым изменением элементов сразу в интерфейсе (например, изменить текст на кнопке или ее цвет), не привлекая разработчика и не создавая отдельные страницы.
В нашем случае тестировались две действующие страницы сайта на одном домене, изменения не требовались. В контрольном варианте (А) мы использовали промостраницу-лендинг с акционным предложением и парой простых форм для заявок. В сравниваемом варианте (B) — промостраницу-сайт с акцией. Акционное предложение было таким же, как и в первом варианте, но эта страница представляла собой часть сайта из раздела «Акции».