Урок 11

A/B-тестирование


При запуске рекламной кампании сложно прогнозировать, какие таргетинги, форматы и креативы принесут наиболее высокие результаты. С помощью тестов вы можете проверять гипотезы и сравнивать эффективность настроек рекламы. В обучающей статье мы постарались подробно разобрать А/В-тестирование. Это поможет вам на первых этапах понимать, какой подход работает лучше, и оптимизировать кампании в зависимости от результатов.

Что такое A/B-тестирование?

A/B-тестирование (или сплит-тестирование, от англ. A/B-testing, Split-testing) — это метод эксперимента, который помогает сравнивать различные элементы рекламной кампании (креативы, форматы, таргетинги и др.), чтобы оценить, в каком случае достигается максимальная эффективность. Также оно позволяет выявить параметры кампании, при изменении которых меняется результативность рекламы, и в дальнейшем масштабировать их с учетом этих данных.
В myTarget есть специальный инструмент A/B-тестирования, который помогает рекламодателям сравнить различные параметры рекламы (креативы, модели оплаты, цены и др.) внутри одной целевой аудитории. Методика позволяет демонстрировать объявления непересекающимся аудиториям, поэтому результаты эксперимента окажутся более объективными. Если сравнивать эффективность отдельных настроек рекламы с помощью двух активных кампаний с одним отличающимся признаком (например, объявлением), то кампании будут пересекаться по целевой аудитории и влиять друг на друга.

Пример A/B-теста

Вы хотите запустить рекламную кампанию по продвижению интернет-магазина, но не знаете, какой креатив будет максимально привлекательным для пользователей. С помощью данной технологии вы сможете это проверить. Для тестирования 4х креативов, в каждой из 4-х кампаний в настройках блока «A/B-тест» укажите первые две части аудитории (1, 2) и в каждой последующей две другие части (3,4; 5,6; 7,8 и 9,10). Таким образом, вы сможете показать 4 креатива разным пользователям из одной целевой аудитории. Далее мы опишем подробнее варианты настройки A/B-теста.

Для чего нужен A/B-тест?

А/B-тесты помогают:
  • понять, какие креативы наиболее эффективны, при одинаковых настройках целевой аудитории и ставках;
  • сравнить эффективность моделей оплаты – CPC, oCPM, CPM – для решения задач бизнеса;
  • проверить, изменятся ли результаты кампании, если перевести распределение бюджета с быстрого на равномерный или выбрать другую аукционную стратегию.

Основные шаги при подготовке к А/B-тесту

1
Сформулируйте гипотезы для целевой аудитории и креативов;
2
Установите метрику относительно которой вы будете оценивать эффективность рекламных кампаний при А/B-тестировании. Например, CTR, количество конверсий, процент конверсии в установку, стоимость установки приложения, процент конверсии в событие в мобильном приложении, процент конверсии в целевое действие на сайте, стоимость этих событий или др.;
3
Выберите параметры, по которым вы бы хотели протестировать показ рекламы: целевая аудитория, текст, креатив, модель оплаты и др. Каждая из кампаний должна тестировать одно изменение, относительно базовой кампании;
4
Оцените объем целевой аудитории. В прогнозаторе в кампании посмотрите, какой охват может получить рекламная кампания при указанной ставке и бюджете. Если охват < 100 тыс, стоит задуматься, сможете ли вы получить достаточное количество целевых событий, чтобы сравнить результаты;
5
Создайте релевантные креативы под различные целевые аудитории;
6
Определите время на тестирование. Для эффективного анализа рекламы на тест лучше отводить не менее трех дней, чтобы минимизировать влияние дополнительных факторов, например новизны объявления или колебания активности аудитории в течение недели. Более того, за это время кампания получит достаточное число целевых действий, чтобы сделать релевантные выводы.

Основные ошибки при запуске А/B-тестирования

  • Отсутствие специального нейминга для кампаний, участвующих в тесте. Это может затруднять оценку результатов продвижения. Рекомендуем добавлять в название одинаковые слова для кампаний, участвующих в одном и том же A/B-тесте — так будет проще фильтровать кампании на дашборде при анализе результатов. Обратите внимание, что названия не должны быть полностью одинаковыми и должны отличаться, чтобы вам было проще оценивать эффективность тестируемых параметров.

  • Проведение нескольких А/В-тестов на одну и и ту же аудиторию. Например, вы проводите одновременно A/B-test_1 и A/B-test_2, в каждом из которых по 2 кампании. Кампании из A/B-test_1 могут оказывать влияние на кампании из A/B-test_2, если они нацелены на одну и ту же целевую аудиторию.

  • Анализ результатов при изменении в ходе тестирования интерфейса платформы или технологии для одного из параметров.

Как провести А/B-тест в myTarget?

1
После завершения подготовительных шагов перейдите во вкладку «Кампании» и нажмите «Создать кампанию».
2
Выберите таргетинги и другие настройки целевой аудитории.
3
Настройте параметры тестирования в разделе «Детальная настройка аудитории».
4
Во всех кампаниях выберите непересекающиеся части аудиторий. В интерфейсе потенциальный охват можно условно разделить на десять частей – по 10% аудитории. По умолчанию в кампании выбирается 100% аудитории.
5
Запустите кампании.

Оценка результатов

После завершения анализа теста убедитесь, что вы получили достаточное количество данных, а наблюдаемая разница в результатах не является случайностью. Для этого сделайте оценку статистической значимости.

Как оценить статистическую значимость?

  1. Рассчитайте коэффициент конверсии (CR) для двух тестируемых кампаний – для этого разделите количество целевых действий, полученных в результате каждой из кампаний, на количество просмотров объявления.
  2. Вычислите доверительный интервал для каждого коэффициента конверсии при уровне доверия 95% (p-value=0.05). Для этого воспользуйтесь калькулятором.
  3. Если интервалы в кампаниях пересекаются, то нет значимой разницы в результатах А/B-тестирования. И наоборот.

Пример

Дано:
Результаты кампании 1:
90 конверсий
2000 показов
Результаты кампании 2:
110 конверсий
2000 показов

Вопрос: Можно ли сказать, что вторая кампания эффективнее, чем первая?

Решение:
1. Рассчитаем CR для двух кампаний.
Кампания 1. CR = 90/2000 = 4,5%.
Кампания 2. CR = 110/2000 = 5,5%.
2. Вычислим доверительный интервал, воспользовавшись калькулятором.
Кампания 1. Истинное значение конверсии будет находиться в интервале 3,7% – 5,5%, уровень доверия 95%.
Кампания 2. Истинное значение в интервале 4,6% – 6,6%, уровень доверия — 95%.
3. Сравним результаты.
Интервалы пересекаются, следовательно, нет значимой разницы в результатах и сделать вывод на этих данных нельзя.

Заключение

Вы прочитали нашу обучающую статью, и теперь знаете, как делать сплит-тесты и оценивать результаты продвижения. Проверяйте эффективность рекламных кампаний в myTarget с помощью инструмента A/B-тестирования, чтобы увеличить результативность ваших рекламных кампаний и сэкономить бюджет.