Формальная метрика — взвешенная средняя квадратическая ошибка
Допустим, что по метрике Х в эксперименте Y мы получили эффект равный 10 единиц нашей метрики, а среднее в контрольной группе при этом равно 100. Пересчитав в %, имеем эффект в 10%. Пусть истинный эффект равен 12 единицам нашей метрики, тогда:
Ошибка = weight * (trueDifference - usersDifference)^2 = 1*(12-10)^2 = 4
У кого меньше величина WMSE — тот и победил! Веса зависят от сложности конкретного эксперимента. Легкий эксперимент штрафуется сильнее — его вес равен 2, вес среднего по сложности равен 1.5, а самого сложного — 1. Правда какой из них какой заранее неизвестно.
найденный эффект должен «прокрашиваться», то есть достигается уровень значимости в 0,05
для отсутствующего прокраса берется истинный эффект в квадрате
для ложного прокраса берется присланное значение эффекта в квадрате