А/Б тестирование

04.05.2020
Posted in blog-article
04.05.2020 admin

А/Б тестирование

А/Б тестирование или почему не надо его делать когда не знаешь зачем

Многие создатели цифровых продуктов, вероятно, слышали о термине «Проектирование с данными». Это очень распространенная практика, которая предполагает, что решения должны приниматься не на основе интуиции разработчиков, но опираясь на количественные или качественные доказательства. С этой целью многие команды прибегают к использованию A / B тестирования.

В ходе A / B тестов нескольким группам пользователей предлагают разные версии одного продукта. Затем за группами наблюдают и фиксируют отличия в их поведении – взаимодействии с продуктом и удовлетворении данным процессом. Подобное тестирование является одним из лучших способов обрести наиболее актуальные сведения.

Причина эффективности a / b тестов заключается в возможности  получать от подопытной группы 100% честные ответы на вопросы. Например, если вам необходимо узнать, «Сколько дополнительных продаж будет получено при предложении бесплатной доставки по всему миру?», необходимо сделать это предложение одной из двух равных групп тестируемых. Затем зафиксируйте количество продаж в каждой из групп и сравните разницу. Используя простые вычисления, вы сможете измерить прибыльность добавления «бесплатной доставки» и решить, стоит ли её вводить.

Я всегда был большим сторонником тестов A/B, но со временем открыл, что их проведение не всегда является оправданным. Также в них существуют подводные камни, которые могут привести к получению ложных показателей. Вот несколько примеров того, как это происходит.

1. Некоторые из последствий могут быть непредвиденными изначально

A / b тесты могут намекать на конкретное изменение в момент исследования, но не предусматривать перемены в долгосрочной перспективе. Следовательно, результаты могут ввести в заблуждение.

Например, мы однажды протестировали в Joy Tunes предложение бесплатной пробной версии на 1 месяц, заменив ею бесплатную пробную семидневную версию. Мы увидели, что конверсия в подписку резко возросла, но через 2 месяца обнаружили сокращение общего дохода. Среди тех, кто воспользовался месячной пробной версией, коэффициент отмены оказался выше — меньше людей на самом деле заплатили за годовую подписку.

2. Ошибки запроса-вещь

В более сложных тестах A/B, например, направленных на измерение удержания пользователя, исследование чисел может быть сложнее, чем кажется. Мы делаем это с помощью SQL-запросов. Иногда расчеты могут быть очень «грязными», но все же дающими разумные результаты, которые оказываются ложными.

Однажды мы предложили скидку, которая мотивирует пользователей продлить подписку. При A / B тестировании мы увидели огромный рост обновлений среди пользователей, получивших скидку. Только позже мы обнаружили, что в нашем первоначальном запросе была ошибка. Увеличение было незначительным, недостаточным для оправдания скидки.

3. Размер выборки должен быть достаточно большим

Однажды мы переработали экран покупки нашего приложения. За первые дни после А/В-релиза мы увеличили конверсию в фокус-группе на 20%. Но за следующие несколько недель общее изменение коэффициента конверсии упало до 10%, а в конечном итоге до 5%. Вероятно, эксперимент изначально бегал по небольшой выборке, и разница нововведения не была статистически значимой.

4. У чисел нет человеческих чувств

Когда Facebook впервые представил уведомления о своих продуктах, разработчики, вероятно, увидели положительный отклик со стороны пользователей. Современные исследования показали, что социальные сети оказывают негативное влияние на здоровье многих людей, и часть его связана с уведомлениями и другими функциями, стимулирующими вовлеченность. В ходе тестов A / B невозможно проследить степень негативного воздействия на жизнь людей, её можно обнаружить только после проведения научных исследований.

5. A / b тесты могут замедлить вас

Создание различных тестов стоит драгоценного времени и денег. Это всегда здорово, чтобы узнать производительность каждого варианта, но если вы уже знаете, как вы планируете поступить, лучше следовать к цели без лишних остановок.

В целом, я поклонник проектирования с данными. Люди говорят, что «нет истины или лжи в дизайне», но данные, которые приходят из A/B тестов на самом деле являются хорошими показателями «истины». Это также отличный способ для изучения поведения пользователей и выбора лучших дизайнерских решений в перспективе.

Но иногда я предпочитаю избегать A / B тестирования. Они могут ввести в заблуждение, замедлить вас и помешать сделать положительные изменения в приложении. Например, не всегда целесообразно тратить время на разработку восхитительной анимации, перепроектировать устаревший экран или даже уменьшать время загрузки. Конечно, эти изменения важны для ваших пользователей, но их влияние сложно проследить в тесте A/B.

Поэтому в следующий раз, когда вы захотите провести эксперимент, я предлагаю задать себе три вопроса.

1. У вас уже есть решение, которое вы считаете лучшим для пользователей?

2. Вы все еще хотите рассмотреть другие решения?

3. Является ли тест A/B лучшим способом определения наиболее эффективного варианта?

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Contact

Давайте работать вместе!

Пишите нам и найдем точки соприкосновения, может станем партнерами, а может поможем вам зайти в нашу чудесную нишу

Вы разработчик?

Пишите! Нам постоянно нужны новые кадры, либо можем помочь в продвижении вашего приложения

Новичок?

Поможем быстро войти в нишу, не тратя годы на понимание

Давно в нише?

Рады будем пообщаться как на темы whitehat, так и blackhat тематики ^_^ + всегда есть что обсудить по поводу рекламных сетей

ПИШИ В TELEGRAM!

Contact