A/B-тестирование
Сравнение двух вариантов контента или объявления для выбора лучшего по метрикам.
A/B-тест (сплит-тест) — метод сравнения двух версий одного элемента (заголовка, креатива, кнопки, времени публикации) на двух сегментах аудитории примерно одинакового размера. Победитель определяется по целевой метрике: CTR, конверсии, ER, CR. Для корректных выводов тест должен набрать статистически значимое количество показов и не пересекаться с другими экспериментами. Минимум — 1000 показов на вариант для CTR-теста, 100+ конверсий для CR-теста.
Запустили 2 креатива для кампании в VK Ads. Вариант A — фото продукта, вариант B — лицо клиента с цитатой. После 5000 показов на каждый: CTR A = 1.2%, CTR B = 2.8%. Вариант B побеждает, на него перераспределяем бюджет.
Не тестируйте цвет одной кнопки или запятую в заголовке — эффект ниже статистического шума. Тестируйте принципиально разные гипотезы: другой хук, другую аудиторию, другой формат.
