КОНФЕРЕНЦИЯ
ПО ПРОДУКТОВОЙ АНАЛИТИКЕ И МОНЕТИЗАЦИИ

Воронки предполагают, что все пользователи решают свою проблему, используя стандартный путь. Но такое упрощение несправедливо для сложных продуктов: у пользователей может быть множество способов прийти в целевое состояние. В таком случае для анализа их пути больше подходят графы.

Слушатели перестанут фокусироваться на построении воронок для пользователей и перейдут к более глубокому анализу пользовательского пути

Построение графов с помощью Python и R с последующей визуализацией в Gephi имеет несколько проблем: долго и невоспроизводимо другими членами команды без участия аналитика.

Насте удалось адаптировать для CJM-анализа сервис для моделирования бизнес-процессов Celonis, который позволяет загрузить лог любых событий и максимально просто визуализировать пути пользователя, частотность, отклонение от “моделируемой” CJM, bottle-нэки и т.д.

Сервис оказался удобным для использования широким кругом членов продуктовой команды за счет отсутствия необходимости кодить, приятного интерфейса и значительно возрастающей скорости принятия решений на основе выполненного анализа.

Сегодняшний подход к веб-аналитике основан на сессиях и пользователях. Большинство расчетов выполняется на основе этих сущностей. При этом при принятии решении о покупке/не покупки большая доля пользователей посещает сайт несколько раз и часто в разные дни. В eCommerce на вероятность покупки влияют большое кол-во распродаж и акций, что всегда искажает реальную картину поведения и усложняет принятие продуктовых решений.

Мы предлагаем перейти на уровень выше и группировать поведение в циклы принятия решений. По сути аналог сессии, но на макро уровне. Цикл может длиться 1, 2, 3 и больше дней. Фактом окончания цикла является покупка или бездействие более 30 дней (данное ограничение можно определять в зависимости от типа бизнеса). Данный метод позволяет невелировать факторы внешний среды при анализе данных и нормировать особенности поведения разных сегментов аудитории.

Сергей Товмасян, СРО Ultimate Guitar и ex-Head of Analytics ВКонтакте, расскажет о том, как продуктовому аналитику подходить к процессу составления структуры данных для каждого отдельного сервиса или продукта в целом.

Сергей убежден, что качественная продуктовая аналитика не ограничивается «рисованием графиков» – она помогает по-настоящему вникнуть в продукт, взглянув на него из данных, найти точки боли пользователей, и, конечно же, существенные точки роста.

Будучи технарем и математиком, Сергей делает акцент на инфраструктурных решениях и настаивает на том, что грамотный продуктовый аналитик должен разбираться в широкой сфере областей

Мы зачастую работаем с чувствительными пользовательскими данными, а закон, GDPR, собственные принципы или конкурентная среда заставляют нас работать исключительно с деперсонализованными или анонимными данными.
На самом деле, эта задача намного тяжелее, чем кажется.

Иван отвечает на важные вопросы: когда данные можно считать анонимными и как эту анонимность может нарушить буквально один лишний джойн; как отвечать на вопросы бизнеса, работая исключительно с анонимными данными; как делиться данными с внешним миром, чтобы не нарушить ничью приватность?

Иван разбирает популярные ошибки, best practices, живые примеры, реальный код. Слушатели после лекции перестанут считать свои анонимные данные анонимными – ведь в 99% случаев это не так (!) А когда вернутся к рабочему ноутбуку, то довольно резко поменяют принципы доступов, анализа и выдачи наружу данных в своей компании.

Задача доклада – дотянуть людей, которые никогда не думают о privacy, до сегодняшнего state of the art.

Последнее время юнит-экономика стало привычным инструментом. Все научились сравнивать LTV и CAC, однако мало кто можно детально рассказать не только как считать эти самые LTV и CAC, но и как именно это сделать в конкретном проекте. По этому, за частую, юнит-экономика остается просто красивым словом без реальной практики. Я постараюсь рассказать как собираются метрики из фиксации бизнес данных. Мы разберем как формируется модель, что такое когорты и как их понимать, и главное как получаются значения

Компании приходится разрабатывать собственную систему метрик и экспериментов, как только её продукт становится сложнее лендинга с одной кнопкой «Купить». Опыт работы с несколькими компаниями в качестве сотрудника и консультанта говорит, что все проходят на этом пути через одни и те же этапы и совершают на них одни и те же ошибки. Результат — случайные решения по итогам экспериментов. Эти типовые ошибки хочется подсветить и кого-то, возможно, от них уберечь.

На первом этапе все совершают детские ошибки в математике и постановке (зависимые измерения, peeking problem, разные по скорости эксперимент и продакшн). Когда все детские ошибки исправлены, оказывается, что для результативных экспериментов не хватает пользователей.

Дальше происходят долгие поиски серебряной пули: перебор метрик и статистических критериев, многорукие бандиты вместо AB-тестов, многомерная схема, когда каждый пользователь участвует во многих экспериментах, машинно-обученные метрики. У всех этих подходов есть свои (зачастую фатальные) недостатки, которые мы разберем

В конце обсудим несколько работающих подходов по увеличению пропускной способности системы экспериментов и поймём, по каким критериям отличить вроде бы работающий подход от точно не работающего.

Глеб в своей лекции рассматривает следующие вопросы:
- Как сейчас измеряют эффективность продакта
- Какой процесс для развития продакта используем мы
- Какие признаки (качественные) успешности этого процесса
- Какие метрики (численные) процесса развития
- Как эти данные применять

- Что такое активация пользователя?
- Из каких шагов состоит воронка активации?
- Как определить шаги (моменты) воронки в вашем продукте?
- Как найти точки роста, используя воронку активации?

Аналитики из Авито - Тимур Исмагилов и Дима Лунин в формате мастер-класса «Avito way of conducting experiments» научат слушателей следующим операциям: увеличение чувствительности AB-тестов, синтез state-of-the-art практик в единый фреймворк, валидация методов на исторических и модельных данных.

На выходе вы сможете избежать типичных ошибок в проведении экспериментов и в разы лучше «дизайнить» эксперименты.

Мастер-класс, по сути, словно бы мини-курс позволит слушателям обрести системный взгляд на AB-тестирование, как сам процесс, так и на разработку собственных модификаций/прокси-метрик.

Аудитория научится находить возможности для увеличения конверсии через глубинный анализ поведения пользователей в продукте.

Основные темы мастер-класса:
1. Расчет конверсии. Как считать конверсию (в покупку, регистрацию или целевое действие) с помощью сервиса Amplitude.
2. Драйверы конверсии. Как определить драйверы конверсии — действия пользователей, заметно влияющие на конверсию, и использовать их в оптимизации.
3. Обновление продукта. Как оценить влияние обновлений в продукте на конверсию.
4. Предиктивные конверсии. Как определить и использовать предрасположенность пользователей к конверсии на основе big data и машинного обучения.

По итогам воркшопа аудитория:
1. Получит готовый дашборд, для отслеживания ключевых продуктовых метрик на данных Метрики
2. Познакомится с возможностями построения продвинутой продуктовой аналитики на базе Метрики и Облака и сможет в дальнейшем свободно использовать эту связку
3. Познакомится с функционалом Облака в целом: для участников воркшопа мы предоставляем бесплатный тестовый доступ