ПО А/Б-ТЕСТАМ

МОТИВАЦИЯ

В А/Б-тестах аналитики часто полагаются на закон больших чисел, однако даже на очень больших выборках контрольные и тестовые группы могут отличаться. Тут целое множество причин: неравномерность пользовательской активности, сетевые эффекты, ошибки в данных.

Умение выделить эффект от внедряемой фичи на фоне шума различной природы — очень важный навык аналитика. В ходе хакатона участникам предстоит найти эффекты от внедряемых фичей в нескольких экспериментах. В каких-то экспериментах будет достаточно применения т-теста, в каких-то будет и неравномерность выборки (selection bias), и сетевой эффект (treatment effect).

Более того, наши датасеты будут приближены к реальным данным, с которыми приходится работать аналитикам социальной сети ВКонтакте. Это датасеты достаточно большого размера, работа с которыми в лоб невозможна. Следовательно, в ходе решения кейсов участники получат практические навыки работы с большими данными на реальной задаче — обработке результатов А/Б тестов.

Что предстоит делать?

Участникам предстоит проанализировать 4 А/Б теста, в каждом из которых будет 4 метрики.

1

2

3

Как оценивается решение?

Оценка очень простая — у кого меньше WMSE, то есть взвешенная средняя квадратическая ошибка оценки эффекта от фичи, тот и выиграл.

Удачное решение кейсов с более сложными экспериментами даст больше очков, чем решение легких. Учитываться будут только значимые эффекты.

Требования к участникам

хорошее знание SQL

базовое понимание статистики

наличие ноутбука с установленным python 3.7 и выше и умение писать простые python скрипты

Можно ли участвовать в командах?

да, будет классно если в команде есть человек с дата-инженерными навыками.