Как проводить A/B-тесты сайта и рекламы

A/B-тест — рабочий инструмент, который превращает спор «мне кажется, так лучше» в проверяемый факт. В этом уроке — практика: как сформулировать гипотезу, что именно подставить в вариант Б, сколько ждать, как посчитать, победил ли он, и как за несколько минут собрать материалы для проверки в кабинете Вайб-Маркетолога. Всё по шагам, с реальными ценами.

lk.vibemarketolog.ru/#text

Что даёт A/B-тестирование бизнесу

Любая правка на сайте или в объявлении — это ставка. Вы вложили время и деньги, исходя из предположения, что новая версия сработает лучше. A/B-тестирование сайта отличается от обычной правки одним: вы не заменяете старое новым, а показываете обе версии одновременно разным людям и сравниваете результат по деньгам.

Что это даёт владельцу бизнеса на практике:

• Решения перестают зависеть от того, кто громче спорит. Аргумент «мне не нравится этот заголовок» уступает цифре «этот вариант принёс на 18 заявок больше».
• Неудачные идеи стоят дёшево. Плохая версия видна половине аудитории и неделю, а не всем и полгода.
• Накапливается знание о клиенте. Через десяток тестов вы знаете, что вашей аудитории важнее срок, а не цена, — и это знание работает во всех будущих материалах.

Важно понимать и ограничение: тест отвечает только на тот вопрос, который вы задали. Он покажет, какой из двух заголовков лучше, но не подскажет третий, который сработал бы лучше обоих. Идеи по-прежнему придумывает человек — тест их только судит.

Кому пригодится этот урок

• Владельцу малого бизнеса, который сам ведёт рекламу и хочет перестать сливать бюджет на догадки.
• Маркетологу на фрилансе — чтобы обосновывать заказчику правки цифрами, а не вкусом.
• Штатному специалисту, которому нужно защищать решения перед руководством.
• Тому, кто только запускает первый сайт и хочет сразу заложить правильную привычку: сначала измерение, потом изменение.

Как провести A/B-тест: семь шагов

1. Убедитесь, что цель настроена. Откройте счётчик Яндекс Метрики и проверьте, что нужное действие — отправка формы, нажатие кнопки, звонок — записано как цель. Без этого сравнивать будет нечего: страница может собирать клики, а вы этого не увидите.
2. Найдите самое узкое место. Постройте отчёт по воронке и посмотрите, между какими шагами теряется больше всего людей. Тестировать надо там, где течёт, а не там, где первым бросилось в глаза.
3. Сформулируйте гипотезу с механизмом. Шаблон: «Если сделать вот так, то такая-то метрика вырастет, потому что такая-то причина со стороны клиента». Последняя часть обязательна: без неё вы не сможете сделать вывод из проигрыша.
4. Подготовьте вариант Б. Меняйте одну вещь. Если гипотеза про заголовок — меняется только заголовок, всё остальное на странице идентично.
5. Разделите трафик поровну. В рекламных кабинетах для этого есть встроенные эксперименты, на сайте — либо сервис тестирования, либо два адреса страницы с равным распределением рекламы.
6. Дождитесь объёма. Решите заранее, до какого числа конверсий в каждой группе идёт тест, и не заглядывайте в отчёт каждые два часа. Минимальный срок — полная неделя.
7. Посчитайте и запишите вывод. Не только «Б победил», а «Б победил, потому что подтвердилось предположение о том, что людей тревожит срок». Заведите файл с историей гипотез: через полгода он будет дороже любого чек-листа из интернета.

Что именно менять в варианте Б

Смысл, а не формулировка

Самая частая ошибка новичка — тестировать синонимы. «Заказать консультацию» против «Получить консультацию» не даст разницы, которую вы сможете доказать: эффект слишком мал, чтобы отделить его от случайного шума. Меняйте обещание целиком: скорость против цены, результат против процесса, «сделаем за вас» против «научим делать».

Один экран — одна мысль

Проверьте первый экран на своей странице простым способом: покажите его человеку на пять секунд и попросите пересказать, что предлагают. Если он не смог — тестировать надо не кнопку, а сам первый экран.

Порядок блоков

Недооценённая гипотеза. Часто выигрывает не новый текст, а тот же текст, поднятый выше. Если по картам скроллов видно, что до отзывов долистывает четверть посетителей, вариант Б с отзывами сразу после первого экрана — сильная гипотеза.

Количество полей в форме

Каждое поле — повод передумать. Разумный вариант Б: оставить имя и один контакт. Проверьте на своих данных, не окажется ли, что «менее качественные» заявки с короткой формы в сумме дают больше продаж, чем редкие заявки с длинной.

Цифры вместо прилагательных

«Быстро» — ничего не значит. «За 24 часа» — обещание, которое можно проверить. Замена оценочных слов на конкретику — гипотеза, которая часто выигрывает, потому что снимает тревогу: человек понимает, что именно он получит.

Как быстро сделать материалы для теста

Главный тормоз в тестировании — не аналитика, а производство. Пока дизайнер рисует второй баннер, а копирайтер придумывает пятый заголовок, проходит неделя. В кабинете это делается за минуты.

Заголовки и тексты объявлений

Откройте раздел с текстовыми моделями и попросите нейросеть дать варианты под разные углы. Формулируйте запрос так, чтобы получить именно разные смыслы, а не синонимы: «Дай пять заголовков для страницы услуги. Первый — про скорость, второй — про цену, третий — про гарантию, четвёртый — про отсутствие рисков, пятый — от боли клиента». Цена ответа видна прямо на карточке модели: бесплатные варианты есть, платные начинаются от 2 ₽.

Баннеры для РСЯ и соцсетей

Для рекламных креативов нужен объём: одна связка выгорает за пару недель, и без запаса вариантов тест ставить не на чем. Генерация изображения в кабинете стоит от 1,2 ₽, то есть десять вариантов баннера обойдутся дешевле чашки кофе.

Объявления и ключевые слова для Директа

lk.vibemarketolog.ru/#yandex

Раздел «Яндекс Директ» разбирает ваш сайт и заполняет поля сам: преимущества, опорные ключевые слова, минус-слова, регион показа и быстрые ссылки. Дальше кампания собирается целиком — с двойными заголовками, текстами и UTM-метками. Чтобы получить вторую версию под тест, достаточно поменять формулировку преимущества и сгенерировать заново.

Сколько стоит подготовка теста

Цены ниже — фактические, без подписки: платите только за то, что сгенерировали.

Полный комплект материалов для сравнения двух рекламных подходов — вторая кампания, десяток баннеров и пять вариантов текста — укладывается в двести рублей. Это несопоставимо с ценой одной недели рекламы, потраченной на непроверенный вариант.

Как понять, что вариант действительно победил

Конверсия считается просто: число целевых действий разделить на число посетителей и умножить на сто. Сложность не в формуле, а в вопросе «достаточно ли данных, чтобы этой разнице верить».

Практические ориентиры, без формул математической статистики:

• Меньше 100 конверсий на вариант — не смотрите вообще. На таких числах разница в пару процентов появляется и исчезает сама.
• Разница меньше 10 % при паре сотен конверсий — считайте, что её нет. Скорее всего вы поймали шум.
• Разница в полтора-два раза при сотне конверсий на вариант — уже сигнал, которому можно верить.
• Проверьте калькулятором значимости. Бесплатные есть в открытом доступе: вводите посетителей и конверсии по обоим вариантам, получаете вероятность того, что разница не случайна. Ориентир — 95 %.

И отдельно: смотрите не только на конверсию страницы, но и на то, что происходит дальше. Вариант с более простой формой может дать больше заявок и меньше продаж — тогда он проиграл, хотя по метрике страницы выиграл.

Как перевести результат теста в деньги

Вывод «конверсия выросла с 4 % до 5 %» руководителю ничего не говорит. Переводите в рубли — это занимает две минуты и меняет разговор.

Возьмите четыре числа: сколько посетителей приходит в месяц, конверсия старого варианта, конверсия нового, средняя прибыль с одной заявки. Дальше арифметика: тысяча посетителей при 4 % даёт сорок заявок, при 5 % — пятьдесят. Десять дополнительных заявок при прибыли три тысячи рублей с каждой — это тридцать тысяч рублей в месяц с одной правки заголовка.

Отсюда же считается и обратное — цена промедления. Если вы месяц не внедряете победивший вариант, вы не «ничего не делаете», а теряете эти тридцать тысяч. Такая формулировка обычно быстро находит время на внедрение.

И тот же расчёт объясняет, почему тестировать мелочи невыгодно. Прирост в полпроцента на той же тысяче посетителей — это пять заявок и пятнадцать тысяч рублей, но чтобы его доказать, понадобятся месяцы наблюдений. За это время можно проверить три крупные гипотезы.

Частые ошибки и как их избежать

• Тест остановлен, как только вариант Б вырвался вперёд. Дождитесь заранее назначенного объёма. Если нет сил не смотреть — уберите отчёт из закладок и поставьте напоминание на нужную дату.
• Изменено сразу пять вещей. Результат будет, а понимания — нет. Если очень хочется поменять всё, делайте это как отдельный тест «старая страница против новой» и потом разбирайте детали по одной.
• Тест запущен на распродаже или в праздники. Поведение в такие периоды не такое, как обычно. Выводы получатся сезонные.
• Проверяется мелочь. Оттенок кнопки, скругление углов, размер шрифта на два пункта — эффект настолько мал, что вы не докажете его никаким объёмом трафика.
• Забыт мобильный трафик. Смотрите результат в разрезе устройств: часто выигрыш на компьютерах маскирует проигрыш на телефонах.
• Победитель не внедрён. Смешно, но частая история: тест провели, отчёт написали, страницу оставили старую.

Частые вопросы

Как провести A/B-тест, если нет программиста?

В рекламных кабинетах эксперименты встроены — там программист не нужен вовсе. Для сайта самый простой путь: сделать вторую версию страницы отдельным адресом и вести на неё половину рекламного трафика. Конструктор сайтов в кабинете позволяет собрать вторую версию без вёрстки.

Сколько нужно посетителей для A/B-теста?

Зависит от текущей конверсии: чем она ниже, тем больше нужно. Для ориентира: при конверсии около 5 % и ожидаемом приросте на треть понадобится примерно по полторы тысячи посетителей на каждый вариант. При конверсии 1–2 % речь идёт о нескольких тысячах — таким проектам разумнее тестировать сначала в рекламе.

Можно ли тестировать сразу три и больше вариантов?

Технически да, практически — только при большом трафике. Трафик делится между вариантами, и каждый набирает статистику втрое медленнее. Начните с двух, победителя сравните со следующей идеей.

Почему тест показал прирост, а денег не прибавилось?

Три обычные причины. Первая: тест остановили рано и приняли шум за результат. Вторая: выросла конверсия в заявку, но упало качество заявок. Третья: измеряли промежуточный шаг — например, клики по кнопке, — а не выручку.

Нужно ли тестировать, если трафика совсем мало?

Классический сплит — нет, статистика не наберётся. Но проверять гипотезы всё равно нужно: сравнивайте месяц к месяцу крупные изменения оффера, тестируйте в объявлениях, где показов много, и разговаривайте с клиентами, которые не купили. Пять таких разговоров дают больше, чем неделя наблюдений за скудной статистикой.

Чем A/B-тест отличается от простого сравнения «до и после»?

В сравнении «до и после» между периодами меняется всё: сезон, конкуренты, состав трафика, погода. В A/B-тесте оба варианта живут одновременно и в одинаковых условиях, поэтому разницу можно отнести именно к вашему изменению.

Советы напоследок

• Заведите таблицу гипотез: дата, что меняли, почему, результат, вывод. Через год это ваш главный актив.
• Начинайте с первого экрана и формы: там прячется основная часть потерь.
• Проверяйте, что объявление и страница обещают одно и то же — это чинится быстро и почти всегда даёт эффект.
• Не переносите чужие «лучшие практики» без проверки: то, что сработало в другой нише, у вас может проиграть.
• Если тестировать некогда, эту работу может вести ИИ-агент: он подключается к Метрике и Директу, сам находит просевшие связки, предлагает варианты и присылает отчёт.

Контекст и разбор нашего собственного провала с акцией — в новости «A/B-тест сайта и рекламы: как проверять, а не гадать». Что проверять на самой посадочной до запуска рекламы — в уроке про анализ посадочной страницы. Как собрать первую кампанию и не слить бюджет — генерация объявлений для Яндекс Директа и как остановить слив бюджета в РСЯ.