A/B-тестирование рекламных объявлений

Ключевое слово — «одновременно». Если сравнить объявление января с объявлением февраля, разницу могут объяснять сезонность, конкуренты, изменения аукциона и даже погода.

Но одного совпадения дат мало. Если вариант A видят преимущественно новые посетители, а B — постоянные клиенты, сравнение тоже будет искажено. Нужно корректное распределение аудитории и сопоставимые условия.

В обычном тесте каждый участник закрепляется за своей группой, насколько это позволяет платформа. Цель — сравнить варианты на группах из одной исходной аудитории, а не обязательно показать одному человеку оба объявления. Принцип случайного распределения описан в практическом руководстве по контролируемым экспериментам.

Интуиция здесь полезна: она помогает придумать, что проверить. Но красивое объяснение ещё не подтверждает, что пользователи поведут себя именно так.

Начните с конкретного вопроса: «Что изменится, если вместо акцента на цене показать гарантию?» Так проще подготовить варианты и понять, зачем нужен эксперимент.

Нет элемента, который обязательно сильнее всех влияет на результат в любой нише. Начинайте с изменения, для которого можете объяснить связь с задачей клиента.

Три сценария для гипотез

Это учебные примеры, а не подтверждённые результаты проектов SMA:

• Магазин электроники: сравнить акцент на цене и гарантии. Проверить не только клики, но и заказы, отказы и выручку.
• Клиника: сравнить «Записаться на приём» и «Узнать стоимость». Оценить, сколько обращений привело к записи. Бесплатное действие можно обещать, только если оно действительно бесплатно.
• Бухгалтерские услуги: сравнить фото офиса с историей клиента. Проверить количество подходящих заявок, а не только интерес к изображению.

Если один вариант окажется лучше, не спешите объяснять это «более платёжеспособной аудиторией» или «снятым страхом». Для таких выводов нужны дополнительные данные. Сам тест прежде всего показывает результат изменения в заданных условиях.

Выбирайте показатель под задачу кампании. Самая частая ловушка — радоваться росту кликабельности, когда бизнесу нужны продажи.

В этой статье для учебного расчёта CR считаем от кликов. В отчётах других систем базой могут быть визиты или пользователи, поэтому показатели нужно сопоставлять внимательно.

CPA полезен, если цель действительно отражает нужный результат. Если система считает открытие формы, а бизнесу нужна подтверждённая заявка, красивый CPA может ввести в заблуждение.

Для оценки продаж можно дополнительно использовать выручку, маржу и окупаемость маркетинга. Но ROMI не становится автоматически лучшей метрикой любого теста: нужны согласованный способ расчёта, учёт расходов и достаточно созревшие продажи.

Практический вариант: основная метрика — стоимость подходящего обращения. Дополнительные ограничения — качество заявок и допустимый объём. Для другой задачи, например охвата, набор показателей будет другим.

Возьмём цифры из исходного материала как учебный пример. Это не отчёт о подтверждённом клиентском эксперименте.

По наблюдаемым цифрам A дал больше действий при тех же расходах. Его CPA вдвое ниже.

Но таблица ещё не подтверждает достоверную победу по CPA. Нужны корректная схема эксперимента и оценка неопределённости именно выбранной метрики. Даже если различие по CTR подтверждено, это не переносит достоверность автоматически на заявки и их стоимость.

До запуска зафиксируйте небольшой план:

1. Гипотеза. Что меняем, для кого и какой результат ожидаем.
2. Варианты. Что остаётся одинаковым и чем отличается.
3. Распределение. Как платформа разделит аудиторию и закрепит участников за вариантами.
4. Учёт. Какие цели считаются, как учитываются повторные действия и продажи.
5. Критерий решения. Основная метрика, полезный размер улучшения и допустимые ухудшения.
6. Завершение. Плановый объём, период наблюдения и правила остановки.

Для простого теста удобно начать с равных долей аудитории. При этом 50/50 не обещает одинакового числа показов, кликов и расходов. Рекламная система оптимизирует кампании, а аудитория взаимодействует с вариантами по-разному.

Если проверяете заголовок, не меняйте заодно географию, стратегию и предложение. Неравная модерация, сбой формы или разные настройки целей тоже могут испортить сравнение.

Обычное добавление двух объявлений в кампанию ещё не делает сравнение полноценным A/B-экспериментом. Сначала разберитесь, как именно система распределяет трафик между ними.

Заранее оцените, сколько нужно данных

Универсального минимума «100–200 кликов» или «30–50 конверсий» нет. Размер выборки зависит от исходного показателя, эффекта, который хотите заметить, разброса данных и выбранных правил анализа.

Маленькое улучшение обычно сложнее обнаружить, чем большое. Поэтому до запуска полезно рассчитать достижимый объём и проверить, хватит ли трафика на такую задачу.

Учтите время и задержку конверсий

Тесту нужно охватить значимые циклы спроса. Если продажи отличаются по дням недели, сравнение за один вторник мало что скажет о работе в обычных условиях. Также дайте время обращениям превратиться в продажи.

В Директе учитывайте обучение кампаний и бюджетные циклы. Сейчас Яндекс рекомендует анализировать не менее двух полных бюджетных интервалов; обучение обычно занимает 7–14 дней. Это рекомендации платформы, а не гарантия, что через две недели любой тест даст окончательный ответ. Условия приведены в справке об экспериментах.

Не останавливайте тест по первому красивому числу

За техническими сбоями и расходами следить нужно постоянно. Но правило «закончим, как только появилась значимость» при обычном анализе повышает риск ошибочного вывода. Для досрочных статистических решений нужен подход, который учитывает промежуточные проверки.

Если заранее установленный срок прошёл, а ответ неубедителен, зафиксируйте это. Не продлевайте тест бесконечно только ради желаемого победителя.

Используйте калькулятор по назначению

Калькулятор достоверности A/B-тестирования Яндекс.Директа помогает анализировать рекламные результаты. Выбирайте инструмент под свою метрику: сравнение долей и оценка CPA требуют разных данных и предпосылок.

Калькулятор не исправит неверное разделение аудитории, ошибочную цель или пропущенные обращения. Сначала проверьте качество данных, затем интерпретируйте расчёт.

Чем больше вариантов, тем быстрее найдём лучший

При ограниченном трафике дополнительные варианты уменьшают объём данных на каждое сравнение. Появляется и задача учёта множественных проверок. Для первого простого эксперимента два варианта удобнее, но это не запрет на другие корректно спланированные схемы.

Нет значимой разницы — значит, элемент не влияет

Возможно, влияние невелико, а возможно, данных недостаточно. Корректный вывод — преимущество не подтверждено в условиях этого теста. Чтобы утверждать практическую равноценность, нужен отдельный подход и заранее заданный допустимый диапазон различий.

Победителя можно оставить навсегда

Предложение, аудитория и условия рекламы меняются. Возвращайтесь к гипотезам, когда есть основание ожидать другой результат. При этом тестирование по календарю само по себе не гарантирует снижение стоимости клиента.

В Директе эксперимент можно создать через Библиотека → A/B-эксперименты. Варианты и доли настраиваются отдельно; актуальные возможности описаны в официальной инструкции.

В Google Ads для подходящего пользовательского эксперимента доступны настройки разделения трафика. При cookie-based распределении пользователь закрепляется за одним вариантом. Подробнее — в настройке эксперимента. Оценивать выводы нужно по отчёту и доверительным интервалам, а не ожидать автоматического выбора победителя в каждом случае.

• Гипотеза связана с задачей бизнеса.
• Понятно, что отличается между A и B.
• Аудитория разделяется корректно, варианты работают в один период.
• Основная метрика и дополнительные ограничения выбраны заранее.
• Цели и CRM-статусы учитываются одинаково.
• Объём и срок реалистичны для трафика, задержки продаж и обучения кампаний.
• Определены правила завершения и действия при сбоях.
• В конце будут записаны результат, ограничения и решение о внедрении.