A/B-тестирование

A/B-тестирование — это метод, с помощью которого вы можете проводить эксперименты и сравнивать эффективность ваших рекламных кампаний.

Когда полезно использовать A/B-тестирование

A/B-тестирование помогает выяснить:
  • какое из рекламных объявлений (изображений, видео и т.п.) работает лучше при условии, что целевая аудитория и ставка совпадают;
  • какая модель оплаты эффективнее для вашего бизнеса: CPC, oCPM или CPM;
  • будет ли прирост конверсий, если увеличить ставку по сравнению с текущей;
  • что будет, если переключить распределение бюджета с быстрого на равномерное или как повлияет изменения аукционной стратегии.

Прежде пользователи заводили несколько кампаний с почти идентичными настройками, чтобы проверить гипотезу, какое из объявлений работает лучше. Однако в myTarget эти кампании будут влиять друг на друга, и результаты такой проверки не будут объективными.

При A/B-тестировании аудитории не пересекаются и кампании не влияют друг на друга, и вы можете получить объективные результаты.

Как работает A/B-тестирование

Блок «A/B-тест» в настройках кампании позволяет условно разделить целевую аудиторию кампании на 10 частей: каждая часть — это 10% аудитории. Выберите несколько частей, чтобы показать рекламу только тем пользователям, которые попали в эти части.
Разделение аудитории для тестирования двух вариантов кампании
По умолчанию кампания показывается на все 10 частей, т.е. на 100% целевой аудитории.
1. Кампаниям, участвующим в одном и том же A/B-тесте, добавляйте в название одинаковые слова, так будет проще фильтровать такие кампании на дашборде для анализа результатов.

2. Если вы проводите одновременно несколько разных A/B-тестов, (например 2 кампании в A/B-тесте_1 и 2 кампании в A/B-тесте_2), помните, что кампаний из A/B-теста_1 могут оказывать влияние на кампании из A/B-теста_2, если они нацелены на одну и ту же целевую аудиторию.
Например

Мы хотим сравнить два объявления: на красном и на зеленом фоне — содержание объявлений одинаковое. Чтобы понять, какое объявление работает эффективнее, будем сравнивать две метрики: конверсию в установку приложения и цену установки.


Создадим в рекламном кабинете две кампании с одинаковыми настройками и целевой аудиторией:

  • География: Москва
  • Пол: М, Ж
  • Возраст: 18-60
  • Ставка: 100 руб.
  • Формат рекламного объявления: Мультиформат

В объявлении одной кампании будем использовать картинку с красным фоном, в другом с зеленым, заголовок, текст и ссылка на приложение одинаковые.

Для проведения тестов в двух кампаниях в настройках блока «A/B-тест» в кампании с объявлением на красном фоне укажем первые 5 частей аудитории (1, 2, 3, 4, 5), а в кампании с объявлением на зеленом фоне — другие 5 (6, 7, 8, 9, 10).
Таким образом кампании будут показываться разным группам пользователей.

Также можно воспользоваться кнопкой «Выбрать 50% аудитории», которая выбирает одну из частей.

Запустим кампании.

Как оценивать результаты

Чтобы на основе статистики делать выводы, необходимо получить достаточное количество данных и проверить, что наблюдаемая разница в результатах не является случайностью. Другими словами, оценить статистическую значимость.
Например

Если кампании получили 90 и 110 конверсий, можно ли сказать, что вторая кампания лучше чем первая?
Воспользуемся расчетами для p-value=0.05 (Пример калькулятора)

Для первой кампании:
CR = 90/2000 = 4.5%. Истинное значение конверсии будет находиться в интервале 3.7% – 5.5%, уровень доверия 95%.

Для второй кампании:
CR = 110/2000 = 5.5%. Истинное значение в интервале 4.6% – 6.6%, уровень доверия — 95%.

Интервалы пересекаются, следовательно, нет значимой разницы в результатах и сделать вывод на этих данных нельзя.

Алгоритм проведения A/B-тестирования

  1. Выберите, какой показатель будете измерять: например, процент конверсии в установку, цену установки приложения, процент конверсии в событие в мобильном приложении, процент конверсии в целевое действие на сайте или цену этих событий.
  2. Оцените объем целевой аудитории. В прогнозаторе в кампании посмотрите, какой охват может получить рекламная кампания при указанной ставке и бюджете. Если охват < 100 тыс, стоит задуматься, сможете ли вы получить достаточное количество целевых событий, чтобы сравнить результаты.
  3. Определите время на тестирование. Время зависит от охвата целевой аудитории, но тесты короче 3 дней могут не выявить значимых влияний из-за новизны объявлений, недельных колебаний и т.д.
  4. Подготовьте новые кампании (для А/B тестирования достаточно 2 кампании). Каждая из кампаний должна тестировать одно изменение, относительно базовой кампании.
  5. Во всех кампаниях выберите непересекающиеся части аудиторий в настройках «A/B-тест».
  6. Запустите кампании.
  7. Оцените результаты в дашбоде, с учетом оценки статистической значимости.
Вам помогла эта статья?
Да
Нет