ПО А/Б-ТЕСТАМ

МОТИВАЦИЯ
В А/Б-тестах аналитики часто полагаются на закон больших чисел, однако даже на очень больших выборках контрольные и тестовые группы могут отличаться. Тут целое множество причин: неравномерность пользовательской активности, сетевые эффекты, ошибки в данных.
Умение выделить эффект от внедряемой фичи на фоне шума различной природы — очень важный навык аналитика. В ходе хакатона участникам предстоит найти эффекты от внедряемых фичей в нескольких экспериментах. В каких-то экспериментах будет достаточно применения т-теста, в каких-то будет и неравномерность выборки (selection bias), и сетевой эффект (treatment effect).
Более того, наши датасеты будут приближены к реальным данным, с которыми приходится работать аналитикам социальной сети ВКонтакте. Это датасеты достаточно большого размера, работа с которыми в лоб невозможна. Следовательно, в ходе решения кейсов участники получат практические навыки работы с большими данными на реальной задаче — обработке результатов А/Б тестов.
Что предстоит делать?
Участникам предстоит проанализировать 4 А/Б теста, в каждом из которых будет 4 метрики.
ПО КАЖДОЙ МЕТРИКЕ НУЖНО БУДЕТ ПОСЧИТАТЬ ЭФФЕКТ ОТ ВНЕДРЯЕМОЙ ФИЧИ И ПОНЯТЬ ЗНАЧИМ ЛИ ОН.
ОТПРАВИТЬ СВОЕ РЕШЕНИЕ НА ПРОВЕРКУ ОРГАНИЗАТОРАМ.
1
2
3
Как оценивается решение?
Оценка очень простая — у кого меньше WMSE, то есть взвешенная средняя квадратическая ошибка оценки эффекта от фичи, тот и выиграл.
Удачное решение кейсов с более сложными экспериментами даст больше очков, чем решение легких. Учитываться будут только значимые эффекты.
Требования к участникам
хорошее знание SQL
базовое понимание статистики
наличие ноутбука с установленным python 3.7 и выше и умение писать простые python скрипты
Можно ли участвовать в командах?
да, будет классно если в команде есть человек с дата-инженерными навыками.