Ретаргетинг p.5 — как померить инкрементальность в ретаргетинге?
Что такое инкрементальность?
Возможно для кого-то это будет шоком, но далеко не каждая покупка, которую привлекла performance кампания — на самом деле привлечена этой кампанией. Есть такие, которые случились бы и сами по себе: если бы пользователь не увидел рекламу — он бы все-таки сам пришел в продукт, потому что ему было надо. Так вот инкрементальность — реальная принесенная рекламой эффективность.
Как можно замерить инкрементальность?
Чтобы оценить инкремент, необходимо провести тест инкрементальности. Все очень пугаются этого названия, но на самом деле это в своей сути обычный A/B-тест
В ретаргетинге провести его намного проще, чем в UA, потому что у нас есть понятный, определенный до начала кампании сегмент пользователей, а значит мы можем выделить в этом сегменте контрольную и тестовую группу
Контрольная группа — выборка пользователей, которым мы не будем показывать рекламу, а тестовой будем. После рекламной кампании мы сравним, как вели себя одна и другая, и насколько реклама повлияла на поведение юзеров.
😱 Но есть нюанс — контрольную группу надо выделить правильно
Что такое правильная контрольная группа?
Это такая группа, которая:
💷 имеет достаточно пользователей, чтобы при сравнении контроля с тестом получать статистически значимые результаты
🐱 однородна с тестовой группой, здесь мы остановимся поподробнее
Допустим, мы хотим выделить контрольную группу в сегменте:
установили более 30 дней назад, никогда не совершали покупок
Тогда мы берем всех пользователей из сегмента и анализируем их с разных сторон:
- как они распределены по географии
- как распределены по временной шкале: когда они установили приложение
- из каких каналов они пришли
Разделяя сегмент на тест и контроль важно, чтобы они получились максимально друг на друга похожими, однородными. В противном случае разница в их поведении будет обусловлена их различиями
Как оценить итоги теста?
🥹 вот, мы выделили правильные контрольные и тестовую группу
🥹 закупили на тестовую группу статистически значимое количество рекламы
🥹 вернули пользователей и заработали с них деньги
Как теперь сравнить эти результаты с контролем и вывести инкремент?
Здесь мы сталкиваемся с двумя проблемами:
💷 если сравнивать конверсию из всего объема юзеров сегментов в событие, неточность будет в том, что не все пользователи из теста реально видели рекламу, т.е. на долю тестового сегмента реклама не могла повлиять, потому что ее не было. Обычно эта доля еще и большая, она тем больше, чем меньше бюджет кампании и чем больше сегмент
🐱 для контроля у нас нет метрики, аналогичной re-engagement/re-attribution атрибуции
Если вы живете в идеальном мире — эту проблему можно порешать, выгрузив сырые данные по показам с кампании. Это позволит вывести тестовый сегмент, которому реально показали рекламу, его результаты можно будет сравнить с тестом
Если вы живете в неидеальном мире — хорошо бы завести событие типа app_opened, оно будет фиксировать каждое открытие приложения. Такое событие при уникальном подсчете можно приравнять к ретаргетинговому возврату и из них посчитать CR'ы
Финальный штрих
💷 Смотрим статистику по контролю и тесту, оцениваем:
🥹 конверсию из открытия приложения в покупку
🥹 частоту покупок
🥹 средние чеки
🥹 объем покупок
🥹 объем выручки (с количественными метриками важно помнить, что размеры сегментов теста и контроля отличаются)
🐱 Сравниваем эти показатели между собой
🥹 вычитаем из результатов теста показатели контроля 😘 получаем инкрементальный прирост
🥹 делим этот прирост на все результаты рекламной кампании 😘 получаем коэффициент инкрементальности
Пример:
конверсия в тесте — 10%
конверсия в контроле — 5%
разница — 5%
инкремент — 50%
Что такое инкрементальность?
Возможно для кого-то это будет шоком, но далеко не каждая покупка, которую привлекла performance кампания — на самом деле привлечена этой кампанией. Есть такие, которые случились бы и сами по себе: если бы пользователь не увидел рекламу — он бы все-таки сам пришел в продукт, потому что ему было надо. Так вот инкрементальность — реальная принесенная рекламой эффективность.
Как можно замерить инкрементальность?
Чтобы оценить инкремент, необходимо провести тест инкрементальности. Все очень пугаются этого названия, но на самом деле это в своей сути обычный A/B-тест
В ретаргетинге провести его намного проще, чем в UA, потому что у нас есть понятный, определенный до начала кампании сегмент пользователей, а значит мы можем выделить в этом сегменте контрольную и тестовую группу
Контрольная группа — выборка пользователей, которым мы не будем показывать рекламу, а тестовой будем. После рекламной кампании мы сравним, как вели себя одна и другая, и насколько реклама повлияла на поведение юзеров.
Что такое правильная контрольная группа?
Это такая группа, которая:
Допустим, мы хотим выделить контрольную группу в сегменте:
установили более 30 дней назад, никогда не совершали покупок
Тогда мы берем всех пользователей из сегмента и анализируем их с разных сторон:
- как они распределены по географии
- как распределены по временной шкале: когда они установили приложение
- из каких каналов они пришли
Разделяя сегмент на тест и контроль важно, чтобы они получились максимально друг на друга похожими, однородными. В противном случае разница в их поведении будет обусловлена их различиями
Как оценить итоги теста?
Как теперь сравнить эти результаты с контролем и вывести инкремент?
Здесь мы сталкиваемся с двумя проблемами:
Если вы живете в идеальном мире — эту проблему можно порешать, выгрузив сырые данные по показам с кампании. Это позволит вывести тестовый сегмент, которому реально показали рекламу, его результаты можно будет сравнить с тестом
Если вы живете в неидеальном мире — хорошо бы завести событие типа app_opened, оно будет фиксировать каждое открытие приложения. Такое событие при уникальном подсчете можно приравнять к ретаргетинговому возврату и из них посчитать CR'ы
Финальный штрих
Пример:
конверсия в тесте — 10%
конверсия в контроле — 5%
разница — 5%
инкремент — 50%