Программа

Поговорим про Reasoning model, дистилляцию знаний, "синтетике" как новой реальности, новых витках импакта RL и DeepSeek, трендах на агенты и персонализацию, мультимодальность, которая всё еще sexy.

В бизнесе все чаще возникает вопрос: "Давайте прикрутим нейросеть, чтобы было очень хорошо?"Но поможет ли это реально? Насколько это решает проблемы бизнеса? Я расскажу, как собирать прототипы на коленке, чтобы быстро понять, стоит ли инвестировать в полную разработку.
Я поделюсь своими выводами: как быстро проверить, нужен ли продукт, прежде чем тратить время и деньги на его разработку.Как быстро протестировать гипотезу, не тратя бюджет на полную разработку? Когда прототипировать бессмысленно? Как убедить коллег и руководство в необходимости AI-решений? Как показывать ценность AI без сложных объяснений. Какие технологии стоит тестировать сейчас? Как изменится процесс внедрения AI в компании?

Кейсы из практики и демонстрация low-code и no-code на практике.
- Как проверяла гипотезу автоматического запуска рекламы через AI, сделав быстрый MVP. На конференции покажу, как это работало на уровне простого прототипа.
- Расшифровка голосовых сообщений для отдела продаж, которая теперь используется как автообновляемый RAG
- Умный ассистент для техподдержки, собранный за пару дней для тестирования потребности.
- Файнтюн LLM для документации разработчиковЦелевая аудитория доклада — специалисты, которые занимаются внедрением инноваций в бизнес-процессы, тестируют новые AI-решения или работают с прототипами цифровых продуктов. Для ML специалистов он может быть полезен только с той точки зрения, как можно смотреть на проблемы не с точки зрения инженерии. Он ориентирован на людей которые обладают нулевым или низким уровнем владения кода, но не боятся технологий и пока не в курсе, что LLM им могут помочь с компетенцией в области кода генерации, а no code решения со сборкой прототипов. Они узнают, как собирать "прототипы на коленке", проверять их востребованность и принимать решения на основе данных, а не предположений. В рамках доклада дам пошаговый фреймворк для быстрого прототипирования AI-решений. Слушатели смогут сразу применить его в своих проектах и проверить свои AI-гипотезы уже на следующей неделе.

При анализе А/Б-тестов очень важно смотреть не только на значимость ключевых метрик (прокрасилось или нет) и направление их изменения, но и на риски связанные с внедрением тестируемой фичи. Любое изменение метрики в результатах A/B теста это всего лишь точечная оценка. Она всегда содержит случайную ошибку. С помощью доверительных интервалов мы можем определить какова неопределённость в наших данных и избежать скрытых  крупных потерь от "серых" метрик.

В  Laba (платформа для анализа А/Б экспериментов в РайдТех Яндекс) мы внедрили аналитические (рассчитанные по формулам) доверительные интервалы не только для per-user метрик (классика АБ тестов),  но и для ratio метрик, uplift и uplift for ratios. Доверительный интервал именно для uplift (процентного изменения) имеет особенную бизнес-ценность, так как избавлен от проблемы масштаба. Расчеты основаны на применении ЦПТ и дельта-методе, их легко добавить в расчеты классического t-test и  z-test, так как формулы основаны на классических статистиках (с небольшой доработкой), которые и так считаются при анализе.

В докладе будет предложен полный практический гайд аналитических расчетов доверительных интервалов, в том числе для доверительного интервала uplift for ratios, который в явном виде автор нигде не встречала. Слушатели узнают почему "серые" (незначимые) метрики нельзя игнорировать, как доверительные интервалы добавляют надежности в анализ А/Б тестов и получат практическое руководство к расчету (аналитическому, по формулам) доверительных интервалов для 4 кейсов: per-user метрики (value): CI для средних (классика АБ тестов), per-user метрики (value): CI для процентного изменения средних, ratio метрики: CI для отношений, ratio метрики: CI для процентного изменения отношений (NEW).Предложенный метод расчета доверительных интервалов легко интегрируется в классический пайплайн анализа А/Б-тестов, так как формулы основаны на классических статистиках (с небольшой доработкой), которые и так считаются при анализе. Такой инструментарий позволит сделать процессы анализа прозрачнее, повысить доверие к результатам тестов со стороны коллег из бизнеса и менеджмента.

В рамках доклада поделюсь своим опытом выстраивания аналитики, влияющей на решения компании в среде, где сильную роль занимает экспертное мнение.
Поделюсь, как удалось плавно изменить мышление и целеполагание команды аналитики с "мы сделаем дашборд" до "3 вывода на основе данных, которые принесли рост метрик". Как обрабатывать возражения команды и избегать overfit на такие цели.
Как подбирать людей под разные направления и задачи компании. Как чередовать быстрые результаты с долгосрочными проектами, в которые мы верим. Как защищать ресурс под подобные "венчурные проекты" и как не превращать их в НИИ или дата-журналистику, а реально извлекать пользу для продукта.

Ценность этого доклада в том, что он помогает аналитикам и продактам выйти из операционного режима "запустили -> проверили -> забыли" и начать строить эксперименты осознанно: от бизнес-цели до интерпретации результатов. Благодаря этому повышается качество принимаемых продуктовых решений, а в продукте приводит к улучшению качеств проводимых тестов и к возрастанию доверия к ним.

Я собрала типичные ошибки и сценарии, которые происходят с продуктовыми аналитиками middle-уровня при работе с A/B-тестами, на основе этих наблюдений сформировала системный подход к проведению экспериментов. Поэтому, подробно поговорим о бизнес-целях и связью с культурой экспериментов (связь со стратегией / измерений долгосрочных эффектов / использование качественных данных и исследований) и коммуникационных проблемах ("мы будем выкатывать, даже если тест проиграл" / сторителлинг / как сделать так, чтобы тесты реально использовали).

Слушатели смогут взглянуть на A/B-тестирование не как на рутину или операционку, а как на инструмент, который влияет на стратегию продукта и использовать А/Б-тесты сонаправленно со стратегией.

Затронем тему А/Б-тестирования для проработки и оптимизации CJM. Поделюсь опытом, того, как мы проводим тестирования, как их оцениваем и какого результата это позволяет достичь. Подробно разберем почему любой продукт нужно начинать с анализа CJM, как находить точки роста в CJM, какие решения работают лучше других и как это понять. Разберем несколько практических кейсов.

Речь пойдет об организационном подходе к проведению экспериментов, который мы внедрили у себя в авто.ру. За счет этого подхода мы формализовали процесс проведения экспериментов для всех участников (продуктов, аналитиков, разработчиков и дизайнеров) и качественно улучшили фильтрацию гипотез, подпадающих под категорию “нужно проводить А/Б-тест”. Приведу реальные примеры неудачных экспериментов из прошлого когда мы, уже проведя эксперимент не могли нормально подвести его итоги, и покажу как именно новый процесс позволяет такие эксперименты не проводить или проводить по-другому и в результате экономить деньги компании.

Слушатели узнают: почему формализованный подход к экспериментам - не бюрократия, а необходимость в продуктовой компании? Как это позволяет экономить деньги. К какому пайплайну эксперимента мы пришли и как его формализовали. Почему сначала гипотеза, потом логи и метрики и только потом - эксперименты. Как правильно сформулировать гипотезу чтобы ее можно было проверить в эксперименте. Почему важно договариваться о метриках ДО начала эксперимента. Кто как и когда должен подводить итоги эксперимента и когда аналитику стоит начинать заниматься раздебагом эксперимента, а когда стоит просто пойти проверять новую гипотезу. По итогам доклада слушатели смогут пересмотреть подход к экспериментам у себя в компании и сэкономить себе время и деньги компании на проведение экспериментов.

Мы хотим рассказать о тех сложностях, которые возникают при замере влияния продуктовых изменений на ключевые метрики эффективности агентов клиентского сервиса, и о том, как мы с ними боремся, но при этом сохраняем data driven подход к управлению продуктом. В частности, остановимся на том, как мы проводим именно A/B, и что делаем, если A/B провести невозможно.
Разберем ситуации, когда происходит работа с маленькими выборками с большой вариативностью (когда один человек может утянуть за собой всю метрику), об альтернативных методах замера влияния продуктовых изменений на метрики: когда A/B-тест провести сложно или невозможно. Разберемся со спецификой работы с пользователями внутри компании.

Целевая аудитория доклада - менеджеры продукта, которые работают с продуктами с небольшим количеством пользователей (внутренние продукты, стартапы, B2B, узконаправленные сервисы); аналитики данных, которые хотят больше узнать об альтернативных методах тестирования, помимо A/B.

После прослушивания доклада, возможно кто-то из слушателей захочет попробовать у себя A/B, хотя раньше не пробовали, потому что думали что у них мало пользователей для этого; кому-то возможно мы подадим идеи, как еще кроме A/B можно замерять изменения метрики при продуктовых изменениях

Этот доклад является инструкцией на тему «как делать А/Б-платформу и спать спокойно». Его польза больше не в каких-то уникальных технологиях, а в том, как можно организовать процесс и что в нем должно быть.

Поиск в Лемана Тех (бывший Леруа Мерлен) это высоконагруженная система, которая обрабатывает несколько сотен запросов клиентов в секунду. Помимо этого, поиск — это очень важная и сложная часть бизнеса компании, которую необходимо постоянно развивать и тестировать новые гипотезы В какой-то момент для нашей команды стало важно настроить свой собственный процесс запуска и расчета экспериментов, поскольку имеющееся на тот момент решение нас не устраивало по ряду причин: запускалось вручную, не было механизма healthcheck-а, тяжело было кастомизировать.

В результате мы разработали свою АБ-платформу ""BAget". В ней: метрики считаем ttest-ом "поверх" дельта-метода; метрики оформлены в пресеты и подобраны на данных в соответствии с нашей NSM. Проводятся проверки распределения пользователей между группами, чтобы понять что сплитование трафика работает корректно; фильтруются выбросы по группе метрик, такой подход на наших данных гораздо лучше снижает дисперсию, чем cuped или пост-стратификация (снизил дисперсию ARPPU в 10 раз).

Побочным эффектом сот внедрения стало то, что наша команда получила хорошее представление о том как и куда дальше можно развивать АБ-платформу. На основе этого доклада команды могут выстроить беклог по разработке А/Б-платформы.

В рамках доклада расскажу о том, как мы влияем экспериментами на эффективность водителей, их acceptance rate и completion rate. Научу проводить глубокий анализ зависимости различных метрик в рамках проведенных экспериментов, так как подобные запуски требуют неочевидного баланса между краткосрочными эффектами на маркетплейс и долгосрочным retention водителей. А также, расскажу, почему в экспериментах мы начали смотреть и на DSAT в том числе и можно ли считать DSAT предвестником Retention и как его учитывать в принятии решения по экспериментам
Поиск в Лемана Тех (бывший Леруа Мерлен) это высоконагруженная система, которая обрабатывает несколько сотен запросов клиентов в секунду. Помимо этого, поиск — это очень важная и сложная часть бизнеса компании, которую необходимо постоянно развивать и тестировать новые гипотезы В какой-то момент для нашей команды стало важно настроить свой собственный процесс запуска и расчета экспериментов, поскольку имеющееся на тот момент решение нас не устраивало по ряду причин: запускалось вручную, не было механизма healthcheck-а, тяжело было кастомизировать.

В результате мы разработали свою АБ-платформу ""BAget". В ней: метрики считаем ttest-ом "поверх" дельта-метода; метрики оформлены в пресеты и подобраны на данных в соответствии с нашей NSM. Проводятся проверки распределения пользователей между группами, чтобы понять что сплитование трафика работает корректно; фильтруются выбросы по группе метрик, такой подход на наших данных гораздо лучше снижает дисперсию, чем cuped или пост-стратификация (снизил дисперсию ARPPU в 10 раз).

Побочным эффектом сот внедрения стало то, что наша команда получила хорошее представление о том как и куда дальше можно развивать АБ-платформу. На основе этого доклада команды могут выстроить беклог по разработке А/Б-платформы.

Делюсь опытом того, сколько характеристик данных стоит считать в эксперименте, чтобы принимать качественные решения. Расскажу как в Авито определяют какие параметры нужно считать и о том, как мы сокращали количество параметров (время готовности регламента -30% за полгода, число метрик на расчет - примерно в 3 раза). Когда мы изучаем А/В-тесты, мы практируемся с выбором подходящих ключевых метрик для нашего эксперимента. При этом, когда речь идет об экспериментах в крупных компаниях, анализ подразумевает тысячи показателей. В докладе мы рассмотрим, почему возникает важность анализа множества метрик и разрезов, поговорим о проблемах, к которым можно прийти и обсудим найти баланс между желанием учитывать все доступные данные и необходимостью сосредоточиться на наиболее важных аспектах. Слушатели доклада смогут посмотреть на свои эксперименты под другим ракурсом, и (скорее всего) повлиять на текущие процессы.

Расскажу про один из продвинутых способов проведения и ускорения экспериментов SPRT + CUPAС. Мы активно используем её для тестов в монетизации. В этой методике соединяется последовательное тестирование, которое позволяет честно подглядывать и ускорять. Плюс дополнительно мы уменьшаем дисперсию с помощью ML. Fixed Horizon не всегда позволяет это делать. SPRT позволяет честно подглядывать и при этом ускоряет эксперименты. Если скорость SPRT всё еще не хватает - нужно добавить ML-методы для дополнительного снижения дисперсии. В итоге у нас оптимальное сочетание двух продвинутых фреймворков, что на практике позволяет снижать длительность тестов от 3 до 5 раз относительно размера выборки для fixed horizon. Слушатели доклада узнают новый способ ускорять эксперименты, получат код, и сразу смогут применять методику на практике.

Речь пойдет о выборе и внедрении платформы АБ-тестирования в условиях относительно небольшой компании с ограниченным ресурсом аналитики/разработки и отсутствием развитой культуры А/Б-тестирования. Расскажу о том, почему доступные материалы не помогли сделать выбор и подготовиться к внедрению и каковы были наши критерии выбора: требования аналитики и разработки. Также расскажу о процессе внедрения -- как мы недооценили сроки в три раза, как шел процесс и о том, как подготовить всех пользователей и не прийти к неверному использованию тестов.

Аудитория из МСБ сможет переиспользовать наш опыт -- решить, правда ли им нужно внедрение АБшницы и как к нему подготовиться. Разработчики платформ - понять боли своей ЦА.  Доклад будет полезен тем компаниям, у которых не огромный штат аналитиков, а А/Б –еще не пройденный этап развития. Малый и средний бизнес как правило не может переиспользовать опыт бигтеха в силу недостатка ресурсов и отсутствия возможности/необходимости проводить десятки и сотни тестов. Мы прошли этот путь, набили шишки и можем поделиться опытом, который поможет другим пройти его с меньшими потерями.

Прокси-метрики - один из типичных подходов к работе с данными, особенно, когда не хватает чувствительности для "прокраски" теста на более высокой метрике. Соответственно, их использование позволяет принимать решение там, где, казалось бы, на основной метрике его принять нельзя. Что обычно повышает скорость и качество итераций в продукте (конечно же, со своей платой за использование такого подхода). В рамках лекции я расскажу зачем нужны прокси-метрики и какие современные подходы работы с ними есть (например, paretto-оптимальные метрики, автоматизация поиска прокси и т.п.) Выясним, как применять эти подходы в ваших проектах и о чем не стоит забывать, если вы разрабатываете прокси-метрики. Слушатели узнают про современные подходы по работе с прокси-метриками. Получится такой обзор решений и их разъяснение таким языком, чтобы можно было сразу применить решение на практике.

Система ценообразования в Яндекс Доставке строится на множестве управляющих воздействий, что делает любое изменение, особенно связанное с применением ML-прогнозов, сложной задачей. Внедрение динамического ценообразования потребовало не только согласованности с существующими алгоритмами, но и решения множества нетривиальных вопросов: как учитывать сезонные тренды спроса,  реагировать на нестационарности в стратегиях корпоративных клиентов, адаптироваться к особенностям поведения курьеров и т.д.

В докладе мы разберем ключевые аналитические, продуктовые и ML-вызовы, с которыми столкнулись при внедрении динамического ценообразования для замедленных тарифов, а также поделимся инсайтами и полезными практиками, которые помогли сделать ценообразование еще более адаптивным.

Слушатели смогут лучше понимать сложности внедрения ML-моделей в продукт, заранее предотвращать потенциальные проблемы и применять представленные подходы в своей работе. Разбираемые принципы и практики универсальны, поэтому помогут эффективнее адаптировать ML-решения к динамично меняющимся условиям и требованиям.

Наша команда исследует передовые рекомендательные технологии. За последний год нам удалось первыми в России значительно масштабировать размеры рекомендательных моделей, что привело к самым значительным улучшениям наших рекомендательных систем с миллионной аудиторией за последние несколько лет. Интернет рынок размером в сотни миллиардов долларов во многом определяется рекомендательными системами и персонализацией. За ближайшие несколько лет рекомендательные системы значительно изменятся, однако этот тренд видят пока только специалисты. Я расскажу, как персонализация устроена сейчас, как большие генеративные модели внедряются в рекомендательные системы Яндекса, дам прогноз на будущее. Доклад направлен на широкую аудиторию с техническим бэкграундом, знакомит с основными понятиями и показывает технологические тренды.

В своем докладе я расскажу о создании и внедрении системы среднесрочного прогнозирования для Яндекс Лавки, которая решила комплексную задачу планирования ресурсов компании в условиях быстрого роста сервиса и высокой волатильности спроса. Основная продуктовая ценность нашего решения заключается в точном прогнозировании ключевой бизнес-метрики (заказов) на полугодовой период. До внедрения нашего решения планирование происходило на основе экспертных оценок и простых моделей, что приводило к серьезным ошибкам в оценке необходимых ресурсов, особенно в периоды пиковых нагрузок или сезонных колебаний. Наша система прогнозирования позволила снизить MAPE (средняя абсолютная процентная ошибка) почти в 2 раза. Также прогнозирование превратилось из технической функции в стратегический бизнес-инструмент, который позволяет принимать опережающие решения и оптимизировать расходы.

Я подробно остановлюсь на том, как мы решили проблему волатильности временных рядов путем приведения данных к стабильному виду и выделения ключевых влияющих факторов, что позволило не только улучшить прогноз, но и объяснять отклонения от плана. Как встроили прогноз в экосистему компании за счет построения процесса обратной связи, работы с ошибками и регулярного анализа. Как сравнивали подходы к прогнозированию множества взаимосвязанных метрик, почему мы выбрали top-down подход и как мы компенсировали его недостатки для тысячи различных разрезов с индивидуальными характеристиками, комбинируя статистические методы и машинное обучение.

Участники конференции получат структурированный фреймворк построения систем среднесрочного прогнозирования, который можно применить в любом бизнесе, сталкивающемся с необходимостью планирования ресурсов. Слушатели смогут правильно формулировать задачу прогнозирования, четко определять горизонт, гранулярность и метрики качества, ориентированные на бизнес-результат.

Мы представим опыт создания платформы autoML, расширившей возможности кросс-функциональной команды в быстрой проработке бизнес-гипотез. Платформа позволяет строить и скорить табличные ML модели в простом интерфейсе. Ключевая задача: демократизация доступа к ML для бизнес-пользователей без глубоких знаний в data science, ускорение проверки гипотез и запуска экспериментов.Подробно остановимся на следующих аспектах: преодоление скептицизма и построение доверия: стратегии и тактики, которые мы использовали для убеждения product owner и data analyst в эффективности и надежности автоматизированного подхода к ML; образовательный аспект внедрения autoML: как мы решали задачу обучения пользователей с минимальными знаниями в ML и делали платформу интуитивно понятной; оптимизация ресурсов и демократизация ML: как autoML платформа разгрузила backlog разработчиков и открыла доступ к ML-решениям для команд без собственных data scientists. Измеримые результаты и метрики: конкретные примеры успешных кейсов, метрики эффективности и влияние на бизнес-процессы компании; что нужно делать вам чтобы повторить наш успех.

Целевая аудитория доклада: Product Owner из компаний, использующих ML-решения, Data Analyst, оптимизирующие процессы анализа данных, Data Scientist, заинтересованные в автоматизации рутинных задач.

Слушатели переосмыслят подход к проверке бизнес-гипотез с ML, узнают, как преодолевать сопротивление при внедрении автоматизации, получат инсайты по планированию ресурсов для подобных проектов, ознакомятся с метриками оценки эффективности autoML решений, узнают о потенциальных трудностях и способах их преодоления.

В этом докладе мы разберёмся, как перестать тратить ресурсы на модные, но бесполезные AI-проекты, и начать внедрять те, что приносят измеримый эффект. Поговорим о подходах к оценке ценности AI-инициатив: как считать ROI, экономию, прирост выручки и улучшение операционных метрик. Обсудим методы проверки гипотез, роль контрольных групп, сравнение «до и после», а также типичные ловушки — вроде "обещанных миллионов", не подтверждённых данными.

Доклад основан на опыте EORA, которая внедрила десятки полезных решений для клиентов, реализовала и проанализировала немало спорных кейсов, а также регулярно отговаривает компании от внедрения AI, если это не имеет смысла. Будет полезен аналитикам и ML-инженерам, которые участвуют в оценке и запуске AI-проектов, техническим менеджерам, ответственным за эффективность внедрения, а также AI-предпринимателям, которые хотят понимать, где технология реально даёт бизнес-ценность

Современные LLM и мультимодальные модели демонстрируют невероятные достижения в области ризонинга, кодинга и работе с экспертными знаниями. Но как понять насколько близки эти модели к AGI? Как правильно оценить, насколько этичной и безопасной является та или иная модель? И как правильно выстроить дизайн экспериментов, чтобы максимально честно и непредвзято сравнить все модели между собой? Эти и другие вопросы, связанные с оценкой моделей разберем в докладе на примере бенчмарка MERA - основного бенчмарка для оценки LLM и фундаментальных моделей для русского языка.

Мы создали аналитический слайсер, который объединил данные из разных источников через Trino и ClickHouse, обеспечив их доступность и ускорив анализ. Унификация метрик повысила согласованность данных и упростила работу с ними. Расскажу про единые витрины, алгоритмы расчета метрик и интеграция через Trino, ClickHouse и Data Lens.

В результате мы автоматизировали аналитику, создали единые витрины данных и self-service инструмент, который используют C-level менеджеры и продуктовые команды. Гибкие алгоритмы расчета метрик учитывают разные модели монетизации, что улучшает аналитику. Подробно остановлюсь на том, как учли разные модели монетизации и трафик-провайдеров для более точных бизнес-оценок и на внедрении self-service аналитики — как наш инструмент помогает C-level и продуктовым командам быстро находить инсайты и принимать решения.

Аудитория получит практический опыт построения универсального инструмента для аналитики, работающего с данными из разных источников.После доклада слушатели смогут оптимизировать свои процессы аналитики, использовать подход к гибкому расчету метрик на уровне витрин и автоматизировать работу с данными. Часть решений — такие как витрины данных, алгоритмы расчета метрик и self-service инструменты — можно адаптировать и внедрить в свои проекты, поскольку многие компании сталкиваются с аналогичными вызовами.

Что делать когда данных, отчетов и аналитики становится больше, чем бизнес способен эффективно отслеживать? В рамках проекта "Data alerts" (или детектор аномалий) мы решали задачу оперативного уведомления бизнеса об изменениях в показателях и метриках и почему это произошло. На ретро данных мы зафиксировали эффекты на том, что при наличии детектора аномалий ранее - мы бы обнаружили проблемы, принесшие в совокупности более полумиллиарда убытков, в 10 раз быстрее, что позволило бы кратно сократить потери. Также в процессе разработки инструмента были выявлены инсайты, позволяющие получить дополнительно 1,5- 2 млрд выручки в год. В рамках доклала расскажу о том, как повысить скорость реагирования бизнеса на изменения через авто-мониторинг и динамическую декомпозицию метрик, как с помощью ML и метода подмены задачи искать неочевидные инсайты и точки роста для бизнеса.

Доклад будет интересен аналитикам, руководителям подразделений с большим объемом регулярных отчетов, которые требуют постоянного мониторинга для управления эффективностью, финансистам.

Слушатели уйдут с осознанием важности создания подобных инструментов в аналитике и автоматизации мониторинга. При наличии ресурсов и глубокого понимания аналитики в своей компании смогут идейно реализовать подобные системы у себя в компании. Особенно данный подход релевантен для инертных бизнесов с большим объемом стабильной базы и/или процессов (телекомы, маркетплейсы, подписочные сервисы и тд).

Хотим рассказать про использование Apache Airlfow в качестве оркестратора ML пайплайнов и его гибкость для offline расчета моделей и подготовке данных для offline инференса. Слушатели повысят насмотренность при проектировании своих решения для организации жизненного цикла ML моделей и получат ответы на следующие вопросы: в чем разница между offline и online инференсом моделей; как использовать airflow для менеджмента жизненного цикла ML моделей; rак конфигурировать airflow для того, чтобы наиболее оптимально изолировать исполнение задач и провести интеграцию с другими компонентами MLOps инфраструктуры. Целевая аудитория доклада: ML инженеры, MLOps, Data Scientists.

Доклад посвящён способам снижения Time-to-Market (TTM) ML-моделей через ускорение этапов разработки, что позволяет повысить эффективность команд и ускорить получение бизнес-результатов. Основная задача, решённая командой, заключалась в оптимизации длительных фаз ресерча и проектирования ML-архитектуры. Подробно расскажу о том, как за счет ряда архитектурных и технических изменений (стандартизация ML-систем, внедрение фича-стора, AutoML) можно уменьшить длительность этих этапов разработки.
- Декомпозиция time-to-market по этапам разработки моделей (и MVP, и более зрелых ML-систем). Описание возможных точек роста для оптимизации;
- Описание концепции фича-стора. Ускорение этапа “ресерча” и выкатки MVP-моделей за счет внедрения фича-стора;
- Ускорение проверки новых гипотез и масштабирования моделей за счет стандартизации разработки и AutoML;
- Как посмотреть на свою ML-систему сверху и найти общие компоненты на примере разных по структуре и жизненным циклам ML-систем;
- Что мы теряем, а что приобретаем? Описание рисков, ограничений и всех преимуществ внедрения подхода;

В результате внедрения стандартизации ML-систем, фича-стора и AutoML значительно сократилось время вывода моделей на рынок и ускорилось тестирование новых гипотез. Доклад адресован тимлидам и старшим ML-специалистам, работающим с множеством схожих моделей или крупными моделями, требующими сегментации и регулярного обновления. Целевая аудитория поймёт, как идентифицировать общие компоненты различных ML-систем, эффективно использовать ресурсы и минимизировать технический долг, достигая более быстрого и продуктивного цикла разработки.

Доклад посвящён опыту внедрения Data Science и Machine Learning решений в логистические процессы. Были успешно решены задачи прогнозирования сроков доставки, оптимального выбора склада и построения эффективных маршрутов с помощью ML и методов оптимизации. Это позволило сократить время доставки на 7%, снизить логистические расходы на 10% и улучшить пользовательский опыт. Подробно остановимся на рассказе о решении следующих задач: прогнозировании сроков доставки и выбор оптимального склада, оптимизации логистических маршрутов которые позволили сократить время доставки до 7% и уменьшить затраты на доставку до 10%. Рассматриваются ограничения и требования к данным, эффективность примененных методов, а также ошибки, которых удалось избежать.

Доклад будет полезен специалистам в области Data Science, Machine Learning Engineering, Data Analytics, Product Management и руководителям направлений, связанных с логистикой и управлением цепочками поставок. Целевая аудитория доклада сможет изучить практические примеры успешного применения ML-моделей и оптимизационных подходов, непосредственно влияющих на бизнес-метрики; ознакомиться с инструментами, архитектурными решениями и подходами, которые можно применять для аналогичных задач, на примере реального опыта внедрения и понять, как эффективно выстраивать взаимодействие между техническими командами и логистическим бизнес-подразделением, учитывая специфику работы сотрудников, непосредственно участвующих в операционных процессах.

Мы хотим рассказать о том, как продавать идеи и гипотезы, быстро их тестировать с помощью простых MVP, показывая бизнес-эффект, тем самым получая доверие от бизнес-заказчиком и используя это для создания серьезных production-решений на миллионы рублей. Все это привело к новой команде, большим продуктовым решениям и платформе персонализации. Расскажем о том, как выглядел наш путь в ML: от тетрадок в JupyterHub’е до нейросетей и собственной платформы рекомендаций. Мы надеемся, что наш доклад позволит слушателям получить инсайты о том, как: активнее продавать идеи и гипотезы и быстро их тестировать, выстраивать межкомандное взаимодействие разных функциональных команд. Доклад будет полезен Middle/Senior/TeamLead дата-аналитикам и data scientist'ам,  а также product-менеджерам крупных компаний и продуктов.

Ценность этого доклада в том, что диалоговые эмбеддеры позволяют значительно повысить качество решений в ряде прикладных задач: классификация интентов, трекинг состояний в диалоге, построение retrieval-компонент, заполнение и актуализация пользовательских профилей, кластеризация клиентских обращений и многое другое. Ключевая особенность таких эмбеддеров — способность учитывать структуру диалоговых данных, которая принципиально отличается от обычных текстов и включает в себя последовательность реплик, роли участников и контекстные зависимости между репликами. Корректное моделирование этих особенностей в векторном пространстве приводит к улучшению качества в задачах, критичных для построения диалоговых систем. Подходы на основе диалоговых эмбеддеров применимы в различных индустриях — ритейл, финтех, техническая поддержка — и позволяют разрабатывать более интерпретируемые и эффективные диалоговые ассистенты.

Внедрили YaGPT в формате подсказок оператора в одну из поддержек Яндекса. Получили доказанный в А/Б-тестах экстра-эффект как на скорости работы операторов, так и на качестве ответов. Теперь "экзоскелет" из GPT для оператора - новая норма. Тем не менее, “экзоскелет”, это не полноценная замена человеку, но мы смогли применить YaGPT для поддержки Яндекса таким образом, что получили существенные бизнес-эффекты - применение GPT в саппорте сейчас приносит 15% чистой экономии в Яндекс Маркете. Слушатели доклада смогут начать применять LLM в работе/внедрять в процессы не только в формате чата, но и в формате конечных продуктов, решающих бизнес-проблемы.

Хочется поделиться опытом реализации портфеля LLM проектов в цировых каналах банка, как новые модные технологии меняют продукты и какую реальную ценность (или отсутствие ценности) они могут дать. Сейчас внедрен ряд проектов с LLM с общим эффектом в более чем 100 млн рублей. Расскажу с чего стоит начинать использование LLM-технологий и как добраться до миллионных эффектов, Те кому руководство поставило задачу внедрять LLM поймут как действовать, а те кто уже действует в этом направлении позволит понять, о чем стоит подумать уже сейчас, чтобы не наступить на грабли в будущем. Поймут, где можно показать быстрый результат, а где надо честно сказать об эксперименте. Альфа-Банк один из 10 компаний РФ, кто занимается внедрением LLM на уровне крупного enterprise, кто с одной стороны может позволить себе делать эксперименты, а с другой покупает консалтинг от ведущих разработчиков LLM. Это уникальный опыт для индустрии, которым есть желание делиться.

С появлением больших языковых моделей (LLM) бизнес получил мощный инструмент для автоматизации, поддержки клиентов, генерации контента и анализа данных. Но как понять, какая модель действительно справляется с задачей, а не просто красиво отвечает в демо? И как измерить её пользу в реальных условиях?
В докладе разберём, как грамотно сравнивать LLM в прикладных задачах. В фокусе — не лабораторные метрики, а показатели, понятные бизнесу. Обсудим:
- Как собрать датасет для оффлайн-оценки, если данных мало;
- Какие метрики использовать для оценки качества модели в бизнес-контексте;
- Как организовать A/B-тест и замерить влияние на продуктовые метрики;
- Почему важно учитывать стоимость, скорость и поведение модели под нагрузкой.

Поделимся практическими кейсами из внедрения LLM в клиентский сервис, внутренние ассистенты и системы аналитики. Доклад будет полезен ML-инженерам, аналитикам и всем, кто отвечает за внедрение LLM.

В докладе разбираются инструменты и практики автоматизации рутинных задач в для Product Ops, примеры и сценарии применения в Yandex Cloud. Продуктовая ценность заключается в освобождении времени для стратегических задач и улучшении координации между командами за счет автоматизации рутинных процессов, а техническая ценность — в повышении эффективности разработки и масштабируемости решений через инструменты автоматизации, такие как Yandex Workflows. Аудитория узнает, как автоматизация рутинных задач освобождает время для стратегии и улучшает координацию команд. После доклада слушатели смогут эффективнее использовать инструменты автоматизации, снижая нагрузку на разработчиков и ускоряя процессы.

Расскажу, как мы выстраивали системный подход к управлению продуктом на основе данных — от гипотез до оценки результатов. Подробно остановимся на том, как сделать аналитику частью продуктовой стратегии, а не сервисом для отчётов. Ценность кейса в том, что нам удалось выстроить единый фреймворк принятия решений, сократить количество нерезультативных изменений, достичь стабильного роста north star.

В рамках доклада поговорим о том, как построить системный процесс принятия продуктовых решений на данных — от гипотез до валидации результатов; как находить реальные точки роста, а не просто “что-то улучшать” — и что для этого нужно продукту и аналитике. Поговорим о роли аналитики в стратегии продукта — как перейти от “делаем отчёты” к “двигаем метрики” и о том,что мешает выстроить Data-Driven культуру в команде — и как преодолеть эти барьеры на практике.

Слушатели получат практическое понимание, как перейти от хаотичных продуктовых решений к системной Data-Driven работе. Я покажу, как выстроить процесс: от постановки гипотез до оценки результата — без перегрузки отчётами и бессмысленных метрик.
Критичнее оценивать фичи и аргументировать приоритизацию на данных. Улучшить взаимодействие между продактами и аналитиками, сделав аналитику полноценным участником стратегических решений.

Поговорим о том, в чем секрет создания успешного продукта на зрелом рынке, как организовать работу 200 человек над созданием одного продукта, как оценивать эффективность работы продуктовых команд и какие продуктовые метрики лучше использовать для оценки новых фичей/продуктов. В докладе приводятся конкретные примеры как внедрить предложенные подходы.

Развитие AI создало новый инструмент для исследований – синтетических респондентов. Способны ли ИИ-созданные персоны действительно имитировать поведение реальных людей и делать принятие решений дешевле и эффективнее? Разберем, что такое синтетические респонденты, их научную достоверность, как их создавать и для каких задач они эффективны, а где их применение невозможно. Обсудим риски их использования и типичные ошибки при работе с ИИ-персонами. Обсудим тренды в их использовании: мульти-агентный подход и работу с когнитивными ошибками при восприятии инсайтов от ИИ по сравнению с реальными исследованиями. В конце наметим тренды, куда AI двигает исследования и продуктовую разработку и какую роль во всем этом сыграют синтетические респонденты. Слушатели доклада раз и навсегда ответят на свой вопрос - что такое синтетические респонденты и когда и зачем они применимы.

Расскажем и покажем, как использовать Deep Research с минимизацией галлюцинаций. Как с помощью Deep Research улучшить результаты продуктовых исследований, верифицируя гипотезы на конкурентах или показателях рынка.
"Deep Research конкурентов" - поговорим об исследовании активности конкурентов. Покажем несколько инструментов, как направить Deep Research в нужную сторону.
"Deep Research для поиска продуктовых гипотез" - рассмотрим кейс AI ассистента продакт менеджера, опирающегося на внутренние занания компании.
"Deep Research на MCP" - расскажем хак, как использовать Deep Research с моделями, которые в него не умеют.

Расскажу о нашем подходе к исследованию для крупной компании-заказчика сервисов посуточной аренды недвижимости - Авито, Яндекс, Суточно, Островок и тп. Необходимо было исследовать, как площадки защищаются от фрода (например, когда продавец старается вывести сделку за пределы площадки), при этом сделать это так, чтобы не пострадали реальные пользователи. Расскажем кейс сложной тайной закупки с обходом правил, блокировками и штрафами.

Расчёт стоимости эффекта (прямо сейчас и на нужном горизонте планирования) позволяет считать P&L команд, ROI конкретных инициатив, точнее присваивать приоритет задачам и, самое главное, смелее приступать к дорогим (по ресурсам, времени или рискам) инициативам. Так или иначе "фичу в деньги" конвертируют все, но не все об этом рассказывают. В этом докладе речь пойдет о том, как это делаем мы в Литрес, как проверяем, что оно нам не врёт и как это можно распространить на другие бизнесы. Расскажу как привязать к деньгам широкий набор метрик, которые не имеют прямой функциональной связи (например, лояльность), так как не все продуктовые метрики, эффект которых можно увидеть в A/B-тесте, имеют прямую функиональную связь с выручкой, но с помощью исторических данных зависимость можно восстановить.  Приводится кейс по пересчёту метрик, который будет полезен для аналитики в любых продуктах, где есть непрямая связь между потреблением и монетизацией (например, если есть подписочная модель). Доклад будет полезен опытным аналитикам, которые часто получают запрос "пересчитать непонятное в деньги", тимлидам аналитических команд, которые получают запросы и которые принимают участие в формировании приоритетов, продактам, которые хотят получить инструмент для оценки финансового эффекта своих инициатив. Слушатели научатся пересчитывать инициативы в деньги, выбирать горизонт планирования и считать деньги. Смогут внедрить эти методы и подходы в общий процесс внедрения изменений.

Наша команда поделится практическим опытом и расскажет, как мы снижаем совокупную стоимость владения (ТСО) в проектах за счет оптимального использования аналитических инструментов и гибкого подхода к построению data-инфраструктуры. Обсудим, как существенно уменьшить расходы и повысить качество маркетинговой и продуктовой аналитики с помощью сочетания различных инструментов и выравнивания данных через аналитические модели. Доклад будет полезен всем, кто хочет эффективно масштабировать data-платформу без полного перехода на дорогие инструменты или оптимизировать затраты на уже используемые сервисы.

Я поделюсь своим опытом разработки экосистемного продукта, стратегией PLG (Product-Led Growth) и ключевыми идеями из реальных запусков продуктов. Я также предоставлю практические выводы о том, как оптимизировать стратегию продукта для устойчивого роста. Эта сессия будет полезна всем, кто интересуется созданием и масштабированием клиентоориентированных продуктов. Темы, которые я затрону, такие как активация клиентов, привлечение и ценность продукта, имеют решающее значение для любого продукта. Подход, которым я делюсь, найдет отклик у тех, кто хочет улучшить влияние своего продукта на рост, не полагаясь в большой степени на внешние усилия.

Продукт - геоаналитика в реальном времени. Сотни метрик, которые мы трекаем на карте, позволяют решать кейсы, характерные для "геозависимых" бизнесов, таких как Такси и Доставка: аномалии, перекосы в настройках маркетплейса для геозон. Кейсы, которые сложно увидеть на обычных графиках метрик. Расскажем, как развивался инструмент, и почему он полезен для 500 MAU пользователей.  Как выглядит продукт для внутреннего пользователя - как мы смотрим сотни метрик в риалтайме, почему важна именно гео составляющая (все метрики на карте). Какие задачи решает продукт - как мы быстро находим локальные проблемы с балансом, анализируем гео-сезонность и находим локальные ивенты. На какой инфраструктуре всё работает и какие сложности при развертывании могут встретиться. Также покажем, как совмещение риалтайма и гео-составляющей позволяет нам исследовать локальные проблемы, когда не тотал графиках ничего не видно. Также  немного коснемся технической архитектуры, чтобы было понятно как можно стартовать Слушатели могут понять, что перенять, чтобы находить проблемы как можно раньше (риалтаймовость).

Обычно компании уделяют внутренним продуктам недостаточно внимания, так как внутренние продукты не приносят прибыль напрямую. Многие корпорации живут на «костылях» и неудобных внутренних сервисах и не пытаются сделать внутренние продукты удобными и качественными. У нас в Ecom.tech огромная экспертиза в развитии внутренних продуктов: мы занимаемся продуктовой аналитикой внутренних продуктов с нуля и помогаем бизнесу сделать их удобными и приносящими прибыль. Продуктовая аналитика внутренних продуктов обладает своей спецификой - так как нет прямой монетизации, то смотреть только на GMV не получится. Нужен отличительный набор метрик, который скажет, что внутренний продукт успешен: OPEX, Time to market и т д. На примере внутренних продуктов для создания контента мы покажем, как внутренние разработки экономят время сотрудников и деньги компании: мы ускоряем доставку контента на витрину клиентского приложения, обрабатываем контент нашими МЛ моделями в один клик (без помощи ретушеров), храним в удобном хранилище медиа-контент и в любой момент можем подстроиться под изменения в продукте. В своем докладе мы раскроем примеры, когда продуктовая аналитика напрямую влияла на развитие внутреннего продукта и помогла компании масштабировать контент.

"Платье зебра, малиновые чиносы, джинсы клеш от колена" – каждый день мы ищем товары по модным запросам. Fast fashion создает новые тренды быстрее, чем мы заполняем карточки товаров. Я расскажу про сетку которая в продакшне читает наши картинки как глянцевый журнал: выбирает главное и помогает добавить в корзину. Доклад про предсказание атрибутов по картинкам. Он будет полезен всем, кому приходится  автоматически размечать атрибуты, когда они не заполнены ( маркетплейс ) или когда они редкие (новые названия цветов, тренды).