Сплит-тестирование является одним из наиболее эффективных способов сделать измеримые (и научные) улучшения вашего присутствия в Интернете. Берутся две версии части контента целевой страницы и запускаются одновременно одинаковым по размеру аудиториям, чтобы увидеть, какая страница работает лучше. Когда сплит-тесты выполнены должным образом, они дают вам конкретные доказательства, благодаря чему вы можете применять наиболее успешные изменения и повышать уровень конверсии, а не основываться на догадках.
Чтобы помочь вам и всем тем, кто пытается начать работы по сплит-тестированию, здесь собраны все наиболее часто задаваемые вопросы, и скомпилированы с ответами.
Когда сплит-тестирование хорошая идея? Когда это плохая идея?
Сплит-тестирование наиболее часто терпит неудачу, когда оно имеет нечеткие цели, так что вы должны знать, что вы тестируете. С помощью сплит-тестирования, вы можете проверить теорию, будет ли добавлять изображение на этой целевой странице больше конверсий? Люди, вероятнее всего, нажмут красную или синюю кнопку? Что делать, если вы изменили заголовок, чтобы подчеркнуть временной предел предложения? Это все изменения, которые могут быть определены количественно. Люди сталкиваются с проблемами при тестировании, когда их теории слишком неопределенны, как и тестирование двух различных конструкций с несколькими вариантами.
Сколько вариантов вы должны иметь в сплит-тестировании?
Допустим, вы мозговой штурман в маркетинговой команде и у вас есть четыре прекрасные идеи для дизайна целевой страницы. Это может быть заманчивым, чтобы запустить все четыре процедуры сразу и объявить победителя, но получится не правдивый сплит-тест, если у вас есть несколько различных процедур, работающих одновременно. Ряд факторов, от каждой различной конструкции могут попасть туда и спутать результаты. Красота сплит-теста проявляется в том, что его результаты являются простыми и конкретными. Мы предлагаем обработать две версии друг против друга, затем запустить второй тест, а потом сравнить победителей.
Что такое нулевая гипотеза?
Нулевая гипотеза — это любая разница в результатах, которая является результатом ошибки выборки или стандартной вариации или так называемая ошибка ранней интерпретации. Объясним например, согласно теории вероятности, подбрасывая монетку у нас есть равные шансы, что орел или решка выпадут одинаковое количество раз. Но если мы будем делать выводы по результатам ранее, недостаточной статистической выборке, мы получим в корне неверные данные, однако как показывает практика, эти шансы могут быть и 51 на 49 в пользу «решек» или некоторые другие вариации. Оспаривание нулевой гипотезы, является вопросом запуска эксперимента на достаточно долгое время, чтобы исключить случайный результат. Эта концепция также упоминается как достижение статистической значимости.
Сколько посещений страницы нужно, чтобы получить хорошие результаты сплит-тестирования?
Перед тем, как проверить результаты сплит-теста, вы должны быть уверены, что испытание достигло статистической значимости — точка, в которой вы можете иметь 95% превосходства нового варианта над исходным.
Хорошей новостью является то, многие инструменты сплит-тестирования имеют встроенную статистическую значимость, так что вы сразу получите представление о том, когда ваш тест будет готов к интерпретации.
Что такое мультивариантное тестирование, и как оно соотносится со сплит-тестированием?
Сплит-тестирование обычно используется, чтобы проверить эффективность одного направления проектирования или теории против цели (например, конверсий). Мультивариантное тестирование, как правило, используется для небольших изменений в течение длительного периода времени. Потребуется целый ряд элементов вашего сайта, чтобы проверить все возможные комбинации этих элементов вместе с текущей оптимизацией. Кори Эридон объяснил разницу между тем, когда вы будете использовать одно испытание над другим в деталях, говоря:
«Сплит- тестирование является отличным методом тестирования, если вам нужны значимые результаты быстро. Поскольку изменения от страницы к странице, настолько серьезны, что будет легче сказать, какая страница является наиболее эффективной. Кроме того, это правильный метод, чтобы выбрать, если вы не имеете тонны трафика на вашем сайте. Из-за нескольких переменных испытывать в мультивариантном тесте, вам будет нужно много трафика и времени. Но с помощью мультивариантного тестирования вы сможете получить более значимые результаты, сделать тонкие изменения на странице, и понять, как определенные элементы взаимодействуют друг с другом, чтобы постепенно улучшить существующий дизайн».
Как сплит-тест влияет на SEO?
Существует миф, что сплит-тестирование бьет по рейтингу в поисковых системах, поскольку страница может быть классифицирована, как дублированный контент, который поисковые системы не рассматривают. Этот миф определенно является ложным. Хотя бы потому что, компания Google советует выполнять сплит-тесты, чтобы улучшить функциональность вашего сайта. Если вы по-прежнему обеспокоены этим, то вы всегда можете добавить метку «no index» на страницу вариации.
Как и когда мы можем интерпретировать результаты теста?
Начинается тест. Результаты начинают сыпаться. Ранние стадии тестирования не подходящее время, чтобы начать интерпретировать результаты. Подождите, пока ваш тест не достигнет уровня статистической значимости, начинайте проверять исходную гипотезу. Тест окончательно подтвердит или опровергнет свою гипотезу. Если да, то вы можете начать делать некоторые выводы. Когда вы интерпретируете свой тест, попытайтесь остаться дисциплинированными, приписывая результаты конкретных изменений. Убедитесь, что существуют четкие связи между изменением и результатом, и нет никаких других сил в игре.
Сколько переменных мы должны проверить?
Вы хотите, чтобы ваш сплит-тест был убедительным — вы инвестируете время в него, так что вы хотите четкий и действенный ответ! Проблема тестирования нескольких переменных сразу заключается в том, что вы не в состоянии точно определить, какие из переменных привели к лучшему или худшему. Поэтому следует жестко ограничить сферу вашего эксперимента.
Что мы должны проверить?
- Призыв к действию: Даже с одним элементом призыва к действию, существует целый ряд различных вещей, которые вы можете проверить. Вы можете проверить текст, который заставляет пользователя действовать; местоположение – где на странице расположена кнопка CTA; форма и стиль — то, как выглядит кнопка CTA.
- Заголовок: Это, как правило, первое, что зритель читает на вашем сайте, так что это значительный потенциал для воздействия. Попробуйте использовать различные стили заголовков в ваших сплит-тестах. Убедитесь, что разница между позиционированием в каждом заголовке ясна.
- Изображения: Более эффективным, является изображение человека, использующего ваш продукт или продукт сам по себе? Тестируйте различные версии ваших страниц с альтернативными опорными изображениями, чтобы увидеть, если есть разница в их действии.
- Объем текста: Сокращение объема текста на странице в более четкое сообщение, или вам необходим дополнительный текст, чтобы объяснить свое предложение? Пробуя разные версии вашего текста, поможет помочь вам определить, какое количество объяснений необходимо посетителю перед конверсией. Попытайтесь сохранить аналогичный текст и просто проверить его объем.
Что еще вы можете протестировать, кроме ваших лендингов?
Да! Помимо лендингов и веб-страниц, многие маркетологи запускают сплит- тесты на сообщения электронной почты, PPC-рекламу, а также другие элементы страницы.
Электронная почта: переменные тестирования электронной почты включают в себя строку темы, функции персонализации, а также имя отправителя.
Рекламное объявление: заголовок, основной текст, текстовая ссылка, ключевые слова.
СТА: попробуйте изменить текст на кнопке CTA, ее форму, цвет, или размещения на странице.
Как найти результаты сплит-тестов?
Необходимые для вас результаты сплит-тестов вы можете найти на этих сайтах: whichtestwon.com, visualwebsiteoptimizer.com и www.abtests.com.
Что делать, если вы не доверяете результатам?
Если вы действительно не доверяете результатам и исключили любые ошибки или проблемы в действительности испытуемого, то лучше всего запустить тот же тест. Относитесь к нему как совершенно отдельному тесту и посмотрите, повторяются ли результаты. Если результаты теста снова и снова повторяются, то вы можете ему доверять.
Как часто я должен запускать сплит-тестирование?
Убедитесь, что каждый тест имеет четкую цель и приведет к более функциональному сайту для ваших посетителей и компании. Если вы проводите много тестов, которые приводят к минимальным результатам или незначительным победам, необходимо пересмотреть свою стратегию тестирования.
Что нужно, чтобы начать сплит-тестирование на сайте?
Лучший способ для запуска сплит-тестов заключается в использовании программного обеспечения, предназначенного для него. Мы предлагаем вашему вниманию такие системы как VisualWebsiteOptimizer, Optimizely, Эксперименты Google Analytics.
Какие нюансы в проведении сплит-тестов стоит учитывать?
Сервис MECLABS провел исследование, посвященное нюансам и тонкостям при сплит-тестировании. Самыми опасными из них являются: «исторический эффект», что-то происходящее во внешнем мире отрицательно влияет на результаты теста, «инструментальный эффект», ошибка в программном обеспечении тестирования подрывающая результаты тестирования.
Нужно ли тестировать домашнюю страницу?
Почему бы и нет, но это может затруднить запустить окончательный тест вашей домашней страницы. Ваша главная страница получает переменную смешанного трафика, от случайных посетителей, потенциальных клиентов и клиентов. Так же, как правило, огромное содержание на главной странице, может усложнить тест, чтобы определить, что действует на посетителя, а что нет. Основной сложностью является определение целей конверсии. Именно достижение целей определяет эффективность тестирования. В независимости от объема или типа входящего трафика, вы всегда можете тестировать кнопки призыва к действию на страницах вашего сайта.
Почему тестовый трафик не делится 50/50?
Иногда во время сплит-тестов вы можете заметить, что количество трафика каждого изменения не являются идентичными. Это вовсе не означает, что с тестом, что-то не так, просто случайные вариации работы. Подумайте о монетке. Так или иначе, с течением времени результат приблизится к пропорции 50/50.
