A/B-тестирование сайта через ChatGPT: пошагово

A/B-тестирование сайта через ChatGPT — это когда две версии посадочной страницы, деление посетителей между ними, форма заявки и реклама собираются в одной переписке с ИИ-агентом. В этом уроке пройдём весь путь руками: подключим Вайб-Маркетолог к ChatGPT, поставим задачу, соберём варианты A и Б, проверим их до оплаты, запустим тест, отправим две кампании в Яндекс Директ и прочитаем итоги так, чтобы не принять случайность за победу. К концу урока у вас будет работающий тест и готовые фразы для агента на каждый шаг.

lk.vibemarketolog.ru/connect

A/B-тестирование сайта через ChatGPT: что это и когда использовать

Классический A/B-тест сравнивает две версии одной страницы на реальных посетителях. Половина людей видит вариант A, половина — вариант Б, и по доле оставленных заявок вы понимаете, какая версия продаёт лучше. Сложность никогда не была в идее — она в сборке: сверстать две версии, подключить форму, разделить трафик, привести рекламу и дождаться, пока цифры станут надёжными.

Здесь всю сборку делает ИИ-агент в чате, а наш сервер следит за правилами: страница не запустится, пока не пройдёт проверку в браузере; вердикт не вынесется на пяти заявках; реклама не начнёт тратить деньги без вашего действия в Директе. Используйте этот сценарий, когда нужно проверить одно конкретное предположение о спросе:

• какой оффер сильнее — бесплатный замер или скидка;
• продаёт ли точная цена лучше, чем цена «от»;
• какое название продукта вызывает больше заявок;
• стоит ли обещать срок («монтаж за один день») на первом экране;
• есть ли спрос на новую услугу до того, как вы в неё вложились.

Если же вам нужен полноценный сайт компании из нескольких разделов, удобнее создать его в AI-конструкторе сайтов, а тестировать отдельные офферы — этим способом.

Для кого этот сценарий

Предприниматель без команды. Нет дизайнера и программиста, но есть идея, которую хочется проверить до вложений. Всё делается фразами в чате.

Маркетолог в компании. Разработчики заняты продуктом, а тестов в очереди десяток. Сценарий снимает зависимость: страница, форма и реклама собираются без технического задания.

Специалист по контекстной рекламе. Кампании под каждый вариант собираются автоматически, а объявление обещает ровно то, что написано на своей версии страницы, — это само по себе поднимает качество трафика.

Агентство. Можно запускать проверки для нескольких клиентов параллельно и приводить их по партнёрской ссылке: программа платит 10–30 % с пополнений приглашённых.

Разработчик и вайб-кодер. Тот же маршрут работает в Claude Code: плагин ставится двумя командами, дальше одна команда /landing с описанием ниши и гипотезы.

Как запустить A/B-тест лендинга через ChatGPT: пошагово

Перед началом подготовьте три вещи: кабинет Вайб-Маркетолога с подтверждённой почтой, баланс около 1 500–2 500 ₽ и платный ChatGPT (Plus, Pro или Business) на компьютере. На бесплатном тарифе и в мобильном приложении подключать свои серверы нельзя. В Claude.ai шаги такие же.

1. Скопируйте адрес сервера. Откройте страницу подключения и нажмите «Скопировать» рядом с адресом https://lk.vibemarketolog.ru/mcp. Вставлять его нужно в настройки ChatGPT, а не в сообщение.
2. Добавьте подключение в ChatGPT. Аватар внизу слева → «Настройки» → «Безопасность и вход» → включите режим разработчика. ChatGPT пометит его «повышенным риском» — это стандартная надпись для любых своих приложений. Затем «Настройки» → «Плагины» → кнопка «+» → «Создать MCP-приложение». Название — «Вайб-Маркетолог», адрес — скопированный, способ входа — OAuth. Отметьте «Я понимаю и хочу продолжить» и нажмите «Создать».
3. Разрешите доступ. Откроется вход в кабинет Вайб-Маркетолога: войдите и нажмите «Разрешить доступ». С этого момента агент может тратить деньги с баланса этого кабинета — не больше дневного лимита подключения: по умолчанию 2 500 ₽ в день. Изменить его можно на странице lk.vibemarketolog.ru/agent — раздел «Подключённые приложения», кнопка «Изменить лимит».

lk.vibemarketolog.ru/connect

4. Проверьте, что агент видит инструменты для лендингов. Откройте новый чат, нажмите «+», выберите «Вайб-Маркетолог» и напишите:

   Проверь подключение к Вайб-Маркетологу: покажи мой баланс и скажи,
   есть ли у тебя инструменты landing_guide, landing_check и landing_launch.

   Агент должен назвать баланс и подтвердить все три инструмента. Если он говорит, что публиковать сайты не умеет, переходите к разделу о частых ошибках ниже — это лечится за минуту.
5. Сформулируйте гипотезу и поставьте задачу. Одно предложение о нише и два оффера, которые сравниваете:

   Сделай лендинг для A/B-теста: натяжные потолки в Казани.
   Гипотеза: «замер бесплатно» против «скидка 10 %».
   Сначала вызови landing_guide и задай мне вопросы брифа.
   Перед каждым платным шагом называй цену и жди моего «да».

6. Ответьте на бриф. Агент спросит название и город, цены и сроки, ваши преимущества, куда слать заявки, есть ли логотип и фото, нужен ли персонаж, есть ли счётчик Метрики. Можно ответить одним абзацем:

   Компания «Линия», Казань. Потолки от 590 ₽ за м² с монтажом, монтаж за один день.
   Гарантия 12 лет. Заявки — в Telegram и на почту. Логотип есть, фото работ есть.
   Персонаж не нужен. Метрики пока нет.

7. Передайте файлы. Напишите «Дай ссылку, чтобы я загрузил логотип и фото работ». Агент пришлёт одноразовую страницу загрузки — её можно открыть и с телефона, вход не нужен. Перетащите файлы, вернитесь в чат и напишите «готово». Геометки из фото удаляются автоматически.
8. Выберите стиль. «Подбери три стиля из каталога под эту нишу и объясни разницу одной строкой». В каталоге 31 дизайн-система с кириллическими шрифтами — от строгих до тёплых.
9. Соберите запросы (по желанию). «Собери семантику Вордстата для заголовков и FAQ, быстрый уровень» — 49 ₽. Запросы разложатся по блокам страницы: заголовок, цены, вопросы, кнопка, а также минус-слова для рекламы.
10. Сделайте медиа первого экрана. «Сделай кадр первого экрана и вертикальный для телефона. Сначала покажи смету». Смета бесплатная, кадр — 16 ₽, с вашим логотипом — 22 ₽. Если хотите живой первый экран, попросите оживить кадр в видео-петлю.
11. Соберите варианты и прогоните паспорт. «Собери варианты A и Б с одним отличием — оффером. Прогони проверку и покажи снимки». Агент покажет первые экраны обоих вариантов на компьютере и телефоне. Если паспорт нашёл блокирующие ошибки, скажите «Исправь всё, что паспорт пометил, и проверь снова».

lk.vibemarketolog.ru/w/vibeos-vibosiki?v=a

lk.vibemarketolog.ru/w/vibeos-vibosiki?v=b

12. Посчитайте выборку и бюджет до оплаты.

    Посчитай, сколько визитов и денег на рекламу нужно для вывода:
    конверсия сейчас 3 %, хотим 5 %, клик стоит 35 ₽.

    Расчёт бесплатный и делается по готовой странице. Если сумма на рекламу вам не по силам, усильте гипотезу сейчас — так дешевле, чем узнать это через месяц.
13. Запустите тест. Напишите «Запускай». Агент назовёт 990 ₽ и дождётся подтверждения. После запуска у страницы появится адрес вида lk.vibemarketolog.ru/w/название, посетители начнут делиться пополам, а в Telegram придёт проверочная заявка. Откройте Telegram и убедитесь, что она на месте.

lk.vibemarketolog.ru/w/vibeos-vibosiki

14. Подключите Яндекс Директ (один раз). В кабинете откройте «Подключения» и подключите карточку «Яндекс Директ» — без неё агент не сможет отправить рекламу в ваш аккаунт.

lk.vibemarketolog.ru/agi?connections=1

15. Подготовьте кампании под варианты.

    Подготовь кампанию в Директ для чистого теста страницы: нейтральные объявления на общий адрес
    лендинга, ключи и регион по брифу, бюджет 500 ₽ в день. Сначала черновик.

    Хотите сравнить связки «объявление A → страница A»? Попросите ссылки ?ad=a и ?ad=b — они считаются отдельно. Адреса ?v=a и ?v=b — только чтобы посмотреть вариант глазами: такие визиты в тест не идут. Подготовка бесплатна. Если заголовок длиннее 56 знаков, текст длиннее 81 или ключевая фраза больше 7 слов, агент получит список нарушений и исправит их сам.
16. Отправьте кампанию в Директ. «Отправляй в Директ» — агент назовёт 99 ₽ и после вашего «да» создаст кампанию в вашем кабинете черновиком.
17. Отправьте на модерацию. «Создай цель заявки в счётчике лендинга и отправь объявления на модерацию, привязав счётчик». Бесплатно. Дата начала показов уйдёт на месяц вперёд, поэтому одобрение Яндекса ничего не запустит.
18. Включите показы по плану. Когда модерация пройдёт: «Покажи план запуска». Агент проверит кампанию прямо в Директе — ссылки, бюджет, счётчик — и покажет дату и бюджет. Ответьте «да, запускай» — 9 ₽, и показы пойдут с согласованного дня, если на счёте Директа есть деньги.
19. Через неделю и больше — итоги. «Покажи итоги теста». Как их читать, разобрано ниже.
20. Закрепите победителя. «Сделай вариант-победитель основным» или «Закажи Про-версию по варианту-победителю» — полный сайт по выигравшему варианту, до 4 500 ₽.

Разбор настроек и решений

Что менять в варианте Б

Лучше всего работают изменения, которые человек замечает за первые три секунды: оффер в заголовке, условие («бесплатно», «за один день»), форма цены, название продукта. Цвет кнопки или шрифт почти никогда не дают разницы, которую можно измерить на небольшом бюджете. Если сомневаетесь, спросите агента: «оцени гипотезу по ICE и предложи более смелую». В его навыках есть методика оценки гипотез и журнал экспериментов.

Сколько посетителей нужно

Агент считает по формуле для разницы двух долей: n ≈ 7,85 × [p₁(1−p₁) + p₂(1−p₂)] / MDE², где p₁ — нынешняя конверсия, p₂ — ожидаемая, MDE — их разница. Поверх формулы действует правило «не меньше 50 заявок на вариант», то есть берётся большее из формулы и 50 / p₁. Для перехода с 3 % на 5 % формула даёт около 1 500 визитов, а правило 50 заявок — 1 667. Нужно 1 667 на каждый вариант.

Бюджет рекламы считается так: визиты на вариант × 2 × цена клика. При клике 35 ₽ это примерно 117 000 ₽. Если такая сумма не по силам, проверяйте более смелое изменение или сначала поднимите поток посетителей — тест, которому по расчёту нужно больше восьми недель, лучше не начинать.

Как читать вердикт

Итоги показывают людей (не перезагрузки страницы), заявки и конверсию по вариантам. План теста — сколько людей нужно на каждый вариант и не меньше недели — закрепляется при запуске и дальше не пересчитывается. Состояний четыре:

• «Рано судить» — план не набран. Смотрите только на технику: идёт ли трафик в оба варианта, приходят ли заявки. Если один вариант уже заметно впереди, агент скажет об этом, но решением это не считается: при ежедневном подглядывании такая разница часто исчезает.
• «Разницы не видно» — план набран, значимой разницы нет. Это не значит, что варианты одинаковые: тест не различает эффект меньше заложенного в план. Это тоже полезный результат — идея не даёт ожидаемой прибавки.
• «Проблема качества данных» — варианты получили слишком разное число людей. Сначала ищут причину: кеш, редиректы, реклама только на один вариант.
• «Победитель» — план набран, неделя прошла, разница статистически значима. Рядом — интервал: от скольких до скольких процентных пунктов прибавка.

Если у вас Битрикс24: «Отправляй заявки этого лендинга в Битрикс24». Каждая заявка станет лидом с меткой варианта, а в итогах появятся продажи по вариантам — сделки в стадии «Успешно» с суммой.

Куда уходят заявки

Форма на странице отправляет заявки в Telegram, в кабинет Вайб-Маркетолога и на почту — туда, что вы назвали в брифе. Сразу после запуска система шлёт проверочную заявку. Если она не пришла, запуск не считается успешным и деньги не списываются.

Чат-бот на странице

Часть посетителей не готова оставить телефон, но готова задать вопрос. «Поставь на страницу нашего консультанта с ИИ» — и агент создаст его, научит ценам и ответам со страницы и поставит одинаково в оба варианта. Самодельный блок вопросов вместо консультанта агент не делает. Оформление под бренд входит в работу: логотип в шапке, фирменные цвета, приветствие, быстрые вопросы, напоминание для молчащего посетителя, кнопки Telegram и телефона. Ответ посетителю стоит от 2 ₽, абонплаты нет.

Как поправить запущенную страницу

Напишите в том же чате, что поменять: «замени картинку первого экрана на новую», «перепиши заголовок в варианте Б», «добавь блок с гарантией в оба варианта». Агент сначала смотрит текущую страницу, меняет только нужный кусок и проверяет вёрстку паспортом до сохранения. Если правка не понравилась — «верни как было»: хранятся десять последних версий. Правка во время теста меняет условия, поэтому агент предупредит, если она сбивает счёт.

Где взять медиа

Первый экран продаёт картинкой, а не абзацем текста. Агент рисует кадр по вашей нише и отдельный вертикальный для телефона. Логотип в кадре не перерисовывается, а вставляется по вашему файлу. Персонаж с русской речью заводится один раз на все ролики, а речь в каждом ролике проверяется распознаванием, чтобы в эфир не ушли повторы и оговорки.

Сколько стоит

Подписки нет: деньги списываются с рублёвого баланса только за сделанное, и перед каждым платным шагом агент называет цену.

Типичный сценарий до запуска — от 1 050 до 1 600 ₽, реклама оплачивается отдельно в Директе. Наш тест «VibeOS» против «ВайбОСики» обошёлся в 1 345 ₽ по смете. Новым пользователям начисляется 100 ₽ за регистрацию, ещё часть баланса можно получить за «Первые шаги» в кабинете.

Частые ошибки и как их избежать

• Агент говорит, что публиковать сайты не умеет, и собирает страницу сам. ChatGPT запомнил список инструментов на момент подключения и сам его не обновляет. В настройках подключения «Вайб-Маркетолог» нажмите «Обновить» (или удалите и добавьте заново) и откройте новый чат.
• Агент каждый раз присылает всю страницу заново. Напишите: «Правь черновиком через patches». Страница хранится на сервере, достаточно присылать изменения.
• «Превышен дневной лимит». Поднимите лимит подключения в кабинете.
• «Не хватает средств» или «подтвердите почту». Пополните баланс или подтвердите почту: бонус новичка до подтверждения не тратится.
• Варианты отличаются в нескольких местах. Тогда тест не скажет, что сработало. Попросите агента свести различие к одному элементу.
• Второй заголовок объявления пропал в Директе. Директ сейчас его не сохраняет. Всё важное должно быть в первом заголовке и тексте — агент так и пишет.
• Реклама ведёт на ?v=a и ?v=b. Это адреса предпросмотра — такие визиты в тест не идут. Для чистого теста — общий адрес, для связок — ?ad=a и ?ad=b. Проверка перед запуском не выпустит кампанию с такими ссылками.
• Бюджет не задан или «дневной» принят за жёсткий. Без бюджета план запуска не выдаётся. А при ручных ставках Директ считает дневной бюджет недельным — в отдельный день расход может быть выше.
• Решение по первым дням. Не останавливайте тест, пока вердикт «рано судить» или «лидирует» при ненабранной выборке.

Частые вопросы

Как провести A/B-тестирование сайта без программиста?

Подключите Вайб-Маркетолог к ChatGPT или Claude и опишите гипотезу агенту. Он соберёт два варианта, проверит их, запустит на одном адресе с делением трафика и подключит форму заявки.

Можно ли сделать лендинг через ChatGPT бесплатно?

Сборка, проверка, снимки и правки черновика бесплатны. Платные шаги — медиа, семантика и сам запуск за 990 ₽. Без запуска страница остаётся черновиком и не публикуется.

Сколько ждать результатов A/B-теста?

Минимум одну-две полные недели и до набора плановой выборки. Будни и выходные ведут себя по-разному, поэтому неделя — нижняя граница даже при большом трафике.

Работает ли это в Claude, а не в ChatGPT?

Да. В Claude.ai подключение такое же — коннектор по адресу сервера. В Claude Code есть плагин с командой /landing, в Cursor — строка в настройках MCP.

Почему кампания в Директе не показывается?

Скорее всего, ещё не пройден один из шагов: кампания черновик (нужна модерация), модерация идёт или дата начала ещё впереди — после модерации она стоит на месяц вперёд, пока вы не скажете «запускай». Спросите агента: «Проверь кампанию в Директе» — он прочитает её состояние прямо из Директа и назовёт, что мешает. И проверьте деньги на счёте Директа: без них одобренная кампания не показывается.

Как проверить, что заявки доходят?

Сразу после запуска приходит проверочная заявка в Telegram и кабинет. Можно также открыть страницу и отправить форму самому — заявка появится там же.

Что будет с тестом после победы одного варианта?

Победителя можно сделать основной версией одной фразой. Если нужен полноценный сайт, агент закажет Про-версию по выигравшему варианту — до 4 500 ₽.

Советы

• Начинайте со смелых гипотез: чем больше ожидаемая разница, тем меньше нужно трафика и денег.
• Записывайте каждую гипотезу и её результат — ничья тоже знание, она экономит бюджет следующего круга.
• Объявление должно обещать то же, что заголовок его страницы: иначе вы тестируете рекламу, а не лендинг.
• Общие правила тестирования, выбор метрики и типичные ловушки разобраны в уроке как проводить A/B-тесты сайта и рекламы.
• Если сомневаетесь в формулировке оффера, начните с урока как написать бриф для лендинга нейросети.
• Что ещё умеет подключение в чате — картинки, видео, Метрика, Директ, — рассказано в новости про MCP-коннектор для Claude и ChatGPT.
• Что нового в этом выпуске и зачем он нужен бизнесу — в новости о том, как создать лендинг с помощью ИИ и A/B-тест через ChatGPT.