Duolingo: 1% улучшений каждую неделю

06.05.2020
Posted in blog-article
06.05.2020 admin

Duolingo: 1% улучшений каждую неделю

Интересно, мемы про сову Дуо — это тоже результаты тщательно продуманного эксперимента команды Дуолинго? 🤔

Когда пользователи Duolingo, дико популярного приложения для изучения языков, слишком долго пренебрегают уроками русской грамматики или корейского вокабуляра, Сова Дуо плачет. Пухлый, динамичный пернатый маскот приложения появляется в почтовом ящике пользователя, плача в надежде заставить его вернуться в приложение.

Однако чего пользователи не видят, так это работу, которую Duolingo вложил в эти слезы. Duolingo постоянно переосмысливает себя через небольшие улучшения, все они управляются данными. С момента своего основания Duolingo провела более 3000 A/B тестов, оценивая реакцию пользователей на большие и малые функции приложения. До 200 тестов могут проводиться одновременно. Все эти эксперименты производят лавину данных, которые движут решениями компании.

И да — когда они выкатили те плаксивые электронные письма в 2018 году, Duolingo провел A/B тесты, чтобы выяснить, насколько большими должны быть слезы Дуо, чтобы заставить учеников вернуться к своим урокам.

В то время как команды разработчиков приложений обычно используют A/B тестирование для улучшения монетизации или удержания пользователей, Duolingo также проводит свои эксперименты, чтобы выяснить лучшие способы обучения пользователей; в США, где базируется Duolingo, большее число людей изучают языки через приложение, нежели в системе государственных школ.

Члены команды Duolingo считают, что они улучшают свое приложение на 1 процент каждую неделю. Для этого они поощряют экспериментирование, анализ и строгое использование данных для формирования решений.

Конечно, все это происходит уникальным для Duolingo образом — но мы считаем, что стратегический подход компании может помочь разработчикам с совершенно другими миссиями. Мы разбили его на три этапа, все они направлены на то, чтобы вплетать эксперименты в философию и практику развития компании.

Шаг 1: Взращивайте культуру

Duolingo: 1% улучшений каждую неделю, изображение №2

Duolingo благодарит свою экспериментальную культуру за повышение эффективности приложения с удержанием в 13% D1, когда оно впервые было запущено в 2011 году, до удержания 55% D1 сегодня.

Duolingo: 1% улучшений каждую неделю, изображение №3

Конечно, внутренняя мотивация помогает подпитывать эту культуру: команда Duolingo принимает миссию компании, которая проявляется в одном из 10 основных принципов работы: Сначала учащиеся. Наша миссия и вся причина существования — сделать так, чтобы каждый человек в мире имел доступ к высококачественному языковому образованию”. Они действительно хотят знать, как приложение может помочь людям учиться.

Но у них есть и другой принцип — «тестируй все», который призывает коллег принимать обоснованные решения на основе данных. Другими словами, используйте данные, чтобы держать свою интуицию в узде.

Одно из стандартных упражнений Duolingo предлагает пользователям переводить предложения с их родного языка на изучаемый язык, нажимая слова в беспорядочной коллекции вариантов.

Duolingo: 1% улучшений каждую неделю, изображение №4

Интуитивно кажется, что если только одно слово написано с большой буквы, то это можно принять за баг, так как заглавная буква раскрывает то, какое слово должно идти первым в переводимом предложении.

Однако, когда Duolingo тестировала версии упражнений без заглавных букв, они зафиксировали падение уровня удержания ценой удаления подсказки. Иными словами, эксперимент показал, что пользователи Дуолинго предпочитают небольшую помощь на протяжении урока.

Duolingo: 1% улучшений каждую неделю, изображение №5

Вывод: даже если что-то кажется вам правдоподобным, вы не узнаете это наверняка, пока не проверите. И чтобы эти тесты действительно имели значение, вы должны их построить правильно, что приводит нас к следующему шагу.

Шаг 2: Оттачивайте процесс

Duolingo: 1% улучшений каждую неделю, изображение №6

Еще один принцип работы Duolingo требует от сотрудников «безжалостно расставлять приоритеты.» Даже когда компания проводит свои сотни тестов, она работает, чтобы убедиться, что ее внимание сосредоточено на идеях, которые имеют самый высокий ROI.

В разговоре с Дуолинго мы наблюдали, как они “делают свое время важным», как они говорят про себя, претворяя две вещи:

Остаются последовательными

Каждый A/B тест в Дуолинго начинается с предложения на одностраничнике. Написанный по лаконичному, четкому шаблону, этот одностраничник содержит ключевую информацию, необходимую для оценки потенциального эксперимента. Чтобы получить зеленый свет, одностраничник должен успешно доказать, что есть проблема, которую нужно решить, и ориентировать бизнес и пользовательский опыт на ее решение. A/B тестирование может потребовать значительных ресурсов. Этот документ гарантирует поддержку со стороны нужных людей, прежде чем что-либо пройдет выше, а также делает процесс разработки эксперимента доступным для всей команды.

Duolingo: 1% улучшений каждую неделю, изображение №7

Скачать шаблон на основе одностраничника Дуолинго можно здесь

Уважают свой процесс

Компания придерживается определенного набора шагов для каждого A/B теста, сохраняя процесс обоснованным, а результаты — прозрачными. Вот как они выглядят:

Duolingo: 1% улучшений каждую неделю, изображение №8

Даже когда эксперименты приводят к очевидным победам, процесс прослеживается до конца, прежде чем будут приняты какие-либо изменения. Duolingo использует метрики ограждения (guardrail metrics), чтобы убедиться, что изменения не будут реализованы слишком быстро, без четкого понимания их последствий.

Например, недавно компания протестировала кнопку загрузки, позволяющую пользователям загружать автономные уроки С Duolingo Plus для обучения без подключения к интернету. Когда пользователи нажимали кнопку загрузки, они попадали на экран, предлагающий Duolingo Plus.

Duolingo: 1% улучшений каждую неделю, изображение №9

В экспериментальной группе пользователей конверсия была на 20% выше, чем в контрольной группе. Но эксперимент также привел к 1-процентному падению DAUs (ежедневных активных пользователей). Дальнейшее расследование показало, что некоторые пользователи были смущены тем, что означают кнопки загрузки, поэтому изменение не было реализовано.

В этом анализе краткосрочная выгода не стоила затрат на долгосрочное, устойчивое вовлечение и удержание. Без полного процесса Duolingo, возможно, не пришла бы к такому выводу. Решения, подобные этим, трудны, но компания обнаружила, что обычно она может найти способы развернуть изменения приложений, не нанося ущерба критическим метрикам.

Вывод: независимо от того, насколько разными могут быть ваши эксперименты, следуйте одной и той же схеме — и всегда тщательно изучайте результаты, руководствуясь долгосрочной целью.

Шаг 3: Вовлеките всех

Duolingo: 1% улучшений каждую неделю, изображение №10

В Duolingo есть несколько ключевых практик, которые действительно демонстрируют степень, в которой компания воплощает свою этику тестирования всего, чтобы сделать правильные выводы.

Каждый A/B тестировщик

Дуолинго тренирует каждого сотрудника для того, чтобы каждый мог с легкостью проводить A/B тесты. Каждого!

Когда компания только начинала свой путь, только 2 члена команды могли проводить эксперименты, что создавало «бутылочные горлышки». В сентябре 2017 года Дуолинго создала онлайн-курс для своих сотрудников по созданию экспериментов, за которым последовал квиз.

Подход компании к экспериментированию уравновешивает процесс и автономию. После обучения любой человек, от менеджеров проекта до младших инженеров, может погрузиться в процесс, начав с одностраничника для предложения эксперимента.

Общее количество тестов A/B С тех пор взлетело до небес.

Duolingo: 1% улучшений каждую неделю, изображение №11

Создавайте лучшие тесты

Дуолинго много сделал, чтобы убедиться, что их эксперименты действительно значимы. Все начинается с тщательного проектирования экспериментов, так что результаты дают реальные ответы на точные вопросы.

Вот недооцененная истина: многие A/B-тесты, как это обычно делается, на самом деле не приводят к улучшениям. Если вы не настроите свои экспериментальные группы правильно, ваши результаты не будут означать то, что вы думаете, что они означают.

Представьте, что вы настраиваете A/B тест, в котором 50 процентов пользователей вашего приложения образуют контрольную группу, а 50 процентов пользователей видят экспериментальную функцию, которую вы исследуете. Проблема с такими широкими группами заключается в том, что некоторые пользователи в экспериментальной когорте обычно не сталкиваются с функцией, которую вы тестируете, в своем привычном опыте.

Например, студенты Дуолинго продвигаются в своем курсе путем постепенного усложнения контента — так же, как и любые другие студенты. Для Duolingo не было бы смысла тестировать продвинутую функцию курса на группе, включающей новичков — их поведение исказило бы результаты.

Чтобы избежать этой ловушки, Duolingo развил свою практику и теперь использует контрфактическое A/B тестирование. Команды приложения разрабатывают когорты пользователей, которые определены по конкретным критериям, и разрабатывают эксперименты для проверки поведения когорт, имеющих отношение к конкретному вопросу, на который A/B-тест должен ответить.

Например, приложение недавно запустило функцию под названием Stories, которая помогает учащимся развивать навыки чтения и понимания с помощью коротких рассказов на нескольких языках. Определив когорту, которая взаимодействует с историями ( в целом, более «серьезных» и преданных пользователей) Duolingo может разрабатывать эксперименты для конкретного тестирования функций с этой группой.

Такой тонкий подход часто подразумевает меньшие эксперименты, которые требуют больше времени для разработки, внедрения и получения результатов. Уверенность в выводах растет, так как команда располагает точными результатами экспериментов. Duolingo также разработала множество аналитических инструментов, которые облегчают просмотр и понимание этих результатов для членов своей команды. Анализ результатов эксперимента теперь является неотъемлемой частью жизни в Duolingo.

Duolingo: 1% улучшений каждую неделю, изображение №12

Обсуждайте

Сотрудники Duolingo гордятся теми тестами, которые они проводят. После того, как результаты эксперимента будут получены, настает время поделиться опытом. Члены команды делятся результатами тестов A/B на общих собраниях, называемых парламентом, а также через список подписчиков по электронной почте. Им рекомендуется делиться результатами непосредственно с учащимися на форумах Duolingo и публиковать истории о процессе и качественных изменениях в публичном блоге Making Duolingo. В культурном плане неудавшийся эксперимент не вызывает стыда, поскольку это просто еще одна возможность учиться.

Duolingo: 1% улучшений каждую неделю, изображение №13

Признавая, что они не одиноки в своем стремлении улучшить инновации в обучении, они даже публикуют инструменты и данные для развития этой области.

Вынос: как только процесс будет правильным, убедитесь, что все могут быть вовлечены — как в формирование, так и в совместное использование тестов, которые вы запускаете.

Заключение: соображайте, а не расслабляйтесь

Duolingo: 1% улучшений каждую неделю, изображение №14

Последний принцип работы компании гласит: «Мы еще не победили. До тех пор, пока каждый человек, который хочет выучить язык, не сделает это С Duolingo, мы должны продолжать внедрять инновации, совершенствовать оболочку и изучать способы стать лучше”.

Duolingo поддерживает конвейер тестовых идей, больших и малых. Некоторые A/B эксперименты проверяют, могут ли незначительные изменения формулировок превратить бесплатных пользователей в платных. Другие привели к серьезным решениям по редизайну, которые увеличили удержание, например, создание таблиц лидеров и пересмотр того, как пользователи переходят на более сложные курсы.

Независимо от того, проводите ли вы просто A/B тестирование, A/B/C/D тестирование, многомерное тестирование или контрфактическое A / B тестирование, 3 правила, изложенные в этой статье, обеспечивают основу для создания компании, которая любит экспериментировать и поддерживает все решения с помощью данных:

  • Развивайте культуру работы с данными, чтобы лучше служить своей миссии. Делайте маленькие шаги для больших улучшений.
  • Отточите процесс, чтобы избежать тестирования спагетти (в результате чего вы просто увидите, какие идеи прилипают). И в таком случае уважайте процесс.
  • Расширьте возможности для участия всей вашей команды и инвестируйте в инструменты, которые позволят вам масштабировать свои возможности для точной настройки вашего подхода к тестированию.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Contact

Давайте работать вместе!

Пишите нам и найдем точки соприкосновения, может станем партнерами, а может поможем вам зайти в нашу чудесную нишу

Вы разработчик?

Пишите! Нам постоянно нужны новые кадры, либо можем помочь в продвижении вашего приложения

Новичок?

Поможем быстро войти в нишу, не тратя годы на понимание

Давно в нише?

Рады будем пообщаться как на темы whitehat, так и blackhat тематики ^_^ + всегда есть что обсудить по поводу рекламных сетей

ПИШИ В TELEGRAM!

Contact