A/B-тест сайта и рекламы: как проверять, а не гадать
A/B-тест — это способ узнать, какой вариант страницы или объявления приносит больше денег, вместо того чтобы спорить об этом на планёрке. Вы показываете половине посетителей вариант A, второй половине — вариант B, и смотрите, где конверсия выше. Сегодня мы сняли с сайта акцию, которая шла девять дней и не сработала, — и это хороший повод разобрать на живом примере, как проверять гипотезы, а не гадать.
Что такое A/B-тест простыми словами
Представьте, что у вас есть страница с кнопкой «Оставить заявку». Вам кажется, что если написать на ней «Получить бесплатный расчёт», заявок станет больше. Кажется — потому что это ваша интуиция, а не факт. A/B-тестирование сайта превращает «кажется» в цифру: сервис случайным образом делит входящий трафик пополам, одним показывает старую кнопку, другим — новую, и через какое-то время вы видите, что вариант B даёт 4,1 % заявок против 3,2 % у варианта A.
Ключевое слово здесь — случайным образом. Если вы просто поменяли кнопку в понедельник и сравнили неделю с прошлой, это не тест: между двумя неделями изменилась погода, реклама конкурентов, сезон, день зарплаты и настроение вашего таргетолога. Сплит-тест убирает всё это, потому что оба варианта живут одновременно и в одинаковых условиях.
Второе ключевое слово — конверсия. Тест всегда меряет одно конкретное целевое действие: заявка, покупка, звонок, регистрация. Не «понравилось», не «красивее», не «современнее». Красивее — это вкус, а конверсия — деньги.
Чем A/B-тест отличается от простой аналитики
Аналитика показывает, что происходит: сколько людей пришло, куда кликнули, где ушли. Она отвечает на вопрос «что». A/B-тест отвечает на вопрос «что будет, если». Это разные инструменты, и нужны оба: сначала аналитика показывает, где именно вы теряете людей, потом тест проверяет, помогает ли ваше лечение.
Например, Яндекс Метрика покажет, что 70 % посетителей уходят, не долистав до формы. Это симптом. Причина может быть любой: форма слишком низко, оффер непонятен, страница медленно грузится. Каждую версию причины проверяет отдельный тест.
Живой пример: наша акция, которая не сработала
Девять дней на витрине висело предложение: пополните баланс на 30 000 ₽ — первый месяц работы ИИ-агента бесплатно. Логика казалась железной: рубли на генерации клиент всё равно тратит, остаток на балансе не сгорает, а сверху он получал месяц работы агента ценой 15 000 ₽. Выгода очевидна, порог понятен, дедлайн подгоняет.
Предложение не сработало. Сегодня мы его сняли и вернулись к простому и честному: агент под ключ от 15 000 ₽ в месяц. Это абонентская плата — она списывается с баланса кабинета раз в месяц; оплатите сразу год — скидка 10 %, компаниям выставляем счёт. Пополнили баланс на сумму первого месяца — мы связываемся сами, обсуждаем детали и выдаём доступы. Не готовы платить сразу — бесплатная консультация с демонстрацией.
Что мы поняли, пока разбирались, почему акция не полетела:
- Порог оказался выше входа. Мы просили 30 000 ₽ там, где сам продукт стоит 15 000 ₽. Человек, который ещё не пробовал агента, должен был заплатить вдвое больше цены, чтобы «сэкономить». Скидка, за которую нужно переплатить, читается как трюк.
- Оффер требовал объяснений. «Пополните баланс — агент в подарок» невозможно понять за две секунды: надо разобраться, что баланс не сгорает, что агент подключается руками, что подарок — это месяц, а не навсегда. Оффер, который нуждается в абзаце пояснений, проигрывает офферу из одной строки.
- Дедлайн давил не на тех. Ограничение по сроку работает, когда человек уже решился и медлит. У нас же большинство приходило на страницу впервые: их дедлайн не подгонял, а раздражал.
Но главное мы нашли не в самой акции. Разбирая путь клиента от витрины до кассы, мы обнаружили две поломки, которые обесценивали любой оффер — хоть акционный, хоть обычный.
Поломка первая: кнопка вела не туда, куда думали
Все продающие кнопки вели в кассу личного кабинета. Но человек, который ещё не зарегистрирован, попадал не в кассу, а в общий интерфейс — с намерением заплатить и без единой подсказки, что делать дальше. Сумма при этом не подставлялась: он видел поле пополнения по умолчанию и должен был сам вспомнить, сколько собирался внести.
Самое обидное — механизм, который проводит гостя через регистрацию и открывает кассу с нужной суммой, в коде уже был написан. Им просто не пользовались: кнопки ссылались на короткий адрес вместо полного. Мы это починили — теперь ссылка несёт сумму, гость запоминается на сутки и после регистрации попадает ровно туда, куда шёл.
Поломка вторая: клики в кассу вообще не считались
Вторая находка объясняет, почему мы девять дней не могли понять, работает акция или нет. В Яндекс Метрике не было цели на нажатие кнопки «Пополнить». Событие отправлялось, но такой цели в счётчике не существовало — то есть данные уходили в пустоту.
Получается, у нас не было ни одной цифры на главном шаге воронки. Мы видели, сколько людей зашло на страницу, и сколько в итоге заплатило, но не видели, сколько человек нажало кнопку и не дошло. А именно этот разрыв и показывает, где ломается путь. Цели теперь добавлены: отдельно нажатие «Купить агента», отдельно отправка заявки на демонстрацию.
Вывод из этой истории простой и неприятный: если вы не измеряете шаг, вы не можете его улучшить. Мы девять дней крутили акцию вслепую. Настроенный заранее A/B-тест с двумя офферами показал бы правду за неделю и на порядок дешевле.
Что тестировать на странице
Оптимизация страницы начинается не с дизайна, а со списка того, что вообще влияет на решение. Порядок ниже — по силе влияния: сверху то, что меняет конверсию в разы, снизу то, что даёт проценты.
Оффер и заголовок первого экрана
Это 80 % результата. Человек решает за 3–5 секунд, его это или не его. Тестируйте не формулировки-синонимы, а разные смыслы: «ИИ-агент под ключ» против «Цифровой сотрудник вместо маркетолога» — это два разных обещания, и они дадут разную конверсию. А «Заказать агента» против «Заказать ИИ-агента» — это шум, который не даст видимой разницы никогда.
Цена и способ её показать
«От 15 000 ₽ в месяц», «500 ₽ в день», «дешевле штатного маркетолога в 4 раза» — одна и та же цена, три разных восприятия. Отдельно тестируется само наличие цены на странице: часть бизнесов боится её показывать, но скрытая цена отсекает и нецелевых, и целевых.
Кнопка: текст, а не цвет
Про «красную кнопку против зелёной» написаны сотни статей, и почти все они бесполезны. Цвет даёт доли процента. Текст даёт десятки процентов, потому что он отвечает на вопрос «что произойдёт, когда я нажму». «Отправить» — непонятно. «Получить расчёт за 24 часа» — понятно и не страшно.
Форма: каждое лишнее поле стоит заявок
Классическая гипотеза для теста: убрать поле. Спрашиваете имя, телефон, почту, город, бюджет и комментарий — попробуйте вариант с телефоном и именем. Остальное можно узнать в разговоре. Мы у себя в квизе для компаний сознательно не спрашиваем бюджет: этот вопрос обрывает заполнение чаще любого другого.
Доказательства
Отзыв с именем и цифрой работает сильнее, чем абстрактное «нам доверяют». Тестируйте разные типы доказательств: видеоотзыв клиента, кейс с цифрами до/после, логотипы, гарантия возврата. И проверяйте порядок — доказательство, поставленное перед формой, часто работает лучше, чем то же самое в подвале.
Скорость загрузки
Не оффер, но влияет на всё. Каждая лишняя секунда загрузки съедает часть посетителей, причём на мобильном трафике — заметную часть. Мы сегодня как раз убрали с сайта плееры YouTube и ВКонтакте и перенесли ролики на свой хостинг: чужой плеер тянул около полумегабайта скриптов ради одного видео, а из России YouTube к тому же открывается не у всех. Теперь до нажатия на кнопку страница не грузит ни байта видео — только обложку.
Что тестировать в рекламе
В рекламе A/B-тест устроен так же, но обратная связь приходит быстрее: за деньги вы покупаете показы, и статистика набирается за дни, а не за месяцы.
Заголовок и первая строка объявления
В поиске у вас есть примерно семь слов, чтобы попасть в запрос человека. Тестируйте разные углы: боль («Заявки теряются в CRM»), результат («−58 % стоимость заявки»), формат («ИИ-агент вместо отдела маркетинга»).
Креатив
В РСЯ и соцсетях картинка решает, будет ли клик. Здесь особенно удобны нейросети: сделать десять вариантов баннера руками — это день работы дизайнера, а через генератор изображений это несколько минут и несколько рублей.
Аудитории и площадки
Один и тот же креатив на разных сегментах даёт разную цену заявки. Это уже не совсем A/B-тест, а сплит по аудиториям, но логика та же: не гадать, а сравнивать.
Посадочная под каждое объявление
Самая частая дыра: объявление обещает одно, а страница говорит про другое. Человек искал «ИИ для Яндекс Директа», попал на общую страницу про нейросети и ушёл. Соответствие объявления и страницы — гипотеза, которую стоит проверить в первую очередь.
Как поставить тест правильно
Хороший тест начинается с формулировки. Плохая гипотеза: «давайте попробуем другой заголовок». Хорошая: «если в заголовке назвать цену, конверсия в заявку вырастет, потому что мы отсечём тех, кому дорого, и снимем тревогу у остальных».
Разница в том, что во второй формулировке есть механизм — объяснение, почему это должно сработать. Если гипотеза не подтвердится, вы узнаете что-то про своих клиентов. Если гипотеза была «попробуем наугад», не узнаете ничего.
- Одна переменная за раз. Поменяли заголовок, кнопку и картинку одновременно — конверсия выросла на 20 %, и вы понятия не имеете, от чего. Хуже того: возможно, две правки помогли, а третья мешала, и без неё было бы 30 %.
- Считайте одну главную цель. Дополнительные метрики смотреть полезно, но решение принимается по одной — той, что ближе к деньгам. Клики по кнопке важны, но если заявок не стало больше, тест проигран.
- Определите срок и объём заранее. До запуска решите: тест идёт до 300 конверсий в каждой группе или до конца месяца. Иначе вы будете каждый день заглядывать в отчёт и остановите тест в тот момент, когда цифры случайно легли в вашу пользу.
- Минимум неделя, лучше две. Поведение в понедельник и в субботу разное. Тест длиной в три дня меряет не оффер, а день недели.
- Не трогайте рекламу во время теста. Добавили новую кампанию посреди эксперимента — состав аудитории изменился, и сравнивать больше нечего.
Сколько данных нужно, чтобы верить результату
Главный вопрос новичка: «у меня вариант B даёт 5 % против 4 % — можно уже внедрять?» Ответ зависит от того, на скольких людях это измерено. На сотне посетителей разница в один процент — это пять человек против четырёх, чистая случайность.
Ориентировочные объёмы, при которых разнице можно верить (уровень доверия 95 %):
| Базовая конверсия | Хотим заметить прирост | Нужно посетителей на вариант | Реалистичный срок |
|---|---|---|---|
| 2 % | +50 % (до 3 %) | ≈ 4 700 | 1–2 месяца при 100 визитах в день |
| 5 % | +40 % (до 7 %) | ≈ 1 700 | 3–4 недели при 100 визитах в день |
| 10 % | +30 % (до 13 %) | ≈ 1 100 | 2–3 недели при 100 визитах в день |
| 20 % | +25 % (до 25 %) | ≈ 500 | около недели при 100 визитах в день |
Из таблицы следует неприятная правда: чем ниже конверсия и чем меньше ожидаемый прирост, тем дольше тест. Ловить прирост в 5 % при базе в 2 % — занятие на полгода. Поэтому тестировать надо крупные изменения смысла, а не оттенки кнопки: мелкую разницу вы просто не сможете доказать.
Ошибки, из-за которых тест врёт
- Остановка на первом же хорошем результате. Самая частая и самая дорогая. На второй день вариант B впереди — тест останавливают и празднуют. Через месяц конверсия возвращается к прежней: разница была шумом.
- Разное время жизни вариантов. Вариант A крутился три недели, B добавили на последней. Сравнивать нельзя.
- Тест на мусорном трафике. Если на страницу идёт нецелевая аудитория, вы оптимизируете конверсию тех, кто всё равно не купит.
- Множественные сравнения. Проверили двадцать мелких гипотез — одна «выиграла» просто по теории вероятностей. Чем больше одновременных тестов, тем выше шанс поверить в случайность.
- Победа без объяснения. Если вы не можете сказать, почему вариант выиграл, скорее всего он не выиграл. Понимание механизма — часть результата.
- Забыли про мобильных. На телефоне и на компьютере разное поведение. Иногда вариант выигрывает в целом, но проигрывает на мобильных, где у вас 70 % трафика.
Если трафика мало: что делать вместо A/B
Малому бизнесу с двадцатью визитами в день классический сплит-тест недоступен: до значимой разницы вы будете идти год. Это не значит, что оптимизировать нельзя, — значит, инструменты другие.
- Последовательные замеры крупных изменений. Меняете оффер целиком, ведёте одинаковый рекламный трафик месяц, сравниваете с прошлым месяцем. Грубо, но при кратной разнице честно.
- Тест в рекламе, а не на сайте. Статистика по объявлениям набирается быстрее: показов много, кликов много. Сначала найдите работающий оффер в объявлениях, потом переносите его на страницу.
- Опрос вместо теста. Пять звонков клиентам, которые не купили, дадут больше, чем любой сплит на скудном трафике.
- Записи сессий и карта скроллов. Видно, где человек тормозит, куда пытается нажать и на каком экране закрывает вкладку.
Чем здесь помогает Вайб-Маркетолог
Главный расход в тестировании — не деньги, а время на создание вариантов. Написать пять версий заголовка, отрисовать три баннера, собрать вторую посадочную — это дни работы. С нейросетями это часы, а стоит несколько рублей.
| Что нужно для теста | Инструмент | Стоимость |
|---|---|---|
| 5–10 вариантов заголовка и текста | Текстовые модели | от 2 ₽ за ответ |
| Варианты баннера для РСЯ и соцсетей | Генератор изображений | от 1,2 ₽ за картинку |
| Вторая посадочная страница целиком | Конструктор сайтов | по прайсу генерации |
| Объявления и ключевые слова для Директа | Вайб-Контекстолог | по прайсу генерации |
Отдельная история — ИИ-агент: он подключается к вашей Метрике и Директу и ведёт эту работу постоянно, а не когда до неё дошли руки. Смотрит статистику кампаний, находит просевшие связки, предлагает и запускает варианты, присылает отчёт. В нашем кейсе агент за две недели снизил стоимость заявки с 212 ₽ до 88 ₽ — именно перебором гипотез: нашёл дубли ключей, срезал ставки на слабых сегментах и добавил 46 минус-слов.
Пошаговый разбор с формулами и примерами гипотез — в уроке Академии «Как проводить A/B-тесты сайта и рекламы».
Частые вопросы
Сколько должен идти A/B-тест?
Минимум неделю, чтобы захватить все дни недели, и до набора нужного числа конверсий — обычно от 300 до 1 000 на каждый вариант в зависимости от базовой конверсии. Останавливать тест раньше срока, потому что «уже видно победителя», — главная причина ложных выводов.
Сколько вариантов можно проверять одновременно?
Начинайте с двух. Три и больше требуют кратно больше трафика: он делится между вариантами, и каждый набирает статистику медленнее. Многовариантные тесты имеют смысл при тысячах конверсий в месяц.
Нужен ли платный сервис для тестирования?
Для рекламы — нет, сплит по объявлениям есть в самих кабинетах Яндекс Директа и ВКонтакте. Для сайта на небольшом трафике достаточно целей в Метрике и двух адресов страницы. Специализированные сервисы нужны, когда тестов много и они идут постоянно.
Чем A/B-тест отличается от многовариантного?
A/B сравнивает два целых варианта. Многовариантный тест перебирает комбинации элементов — например, три заголовка на две кнопки даёт шесть версий. Второй способ точнее показывает вклад каждого элемента, но требует в разы больше посетителей.
Можно ли тестировать цену?
Технически — да, и в рекламе это делают постоянно. На сайте показывать разным людям разные цены на один и тот же товар рискованно: покупатели сравнивают, и разница читается как обман. Безопаснее тестировать не саму цену, а её подачу: помесячно или за год, «от» или точно, с расчётом окупаемости или без.
С чего начать, если раньше ничего не тестировали?
Сначала настройте цели в Метрике — без них тестировать нечего, наш пример с несуществующей целью тому подтверждение. Потом посмотрите, на каком шаге теряется больше всего людей. И первую гипотезу выдвигайте про оффер первого экрана: там прячется основная часть потерь.
Коротко
Маркетинг без проверки гипотез — это ставки на свой вкус за деньги компании. A/B-тест не делает вас умнее, он просто не даёт себя обманывать: половина идей, которые «точно сработают», не работают, и лучше узнать об этом за неделю и на части трафика, чем за девять дней на всём сайте, как это случилось у нас с акцией.
Начните с малого: настройте цели, найдите самый дырявый шаг воронки, сформулируйте одну гипотезу с объяснением механизма и проверьте её. Варианты для проверки можно быстро сделать в кабинете — тексты, баннеры и посадочные страницы обходятся в рубли, а сэкономить могут месяцы рекламного бюджета.