Чем предстоит заниматься
- Вам предстоит глубоко разбираться в том, как Алиса работает внутри автомобиля: анализировать пользовательские запросы в гео- и автосценариях; находить проблемные кейсы в навигации, мультимедиа, управлении автомобилем и сервисах; сегментировать ошибки модели, DSAT и негативные пользовательские паттерны; формировать гипотезы по улучшению качества; оценивать влияние изменений на пользовательский опыт водителя и пассажиров.
- Вместе с командой вы будете развивать систему оценки качества автомобильного ИИ-ассистента: офлайн-метрики качества модели; сценарные evals для авто и гео-доменов; LLM-as-a-judge для оценки диалогов и tool-calling-цепочек; принимать новые модели и разбирать регрессии после релизов.
- Вы будете участвовать в развитии новой модели, где LLM самостоятельно выбирает и вызывает нужные инструменты для выполнения пользовательских задач. Фокус будет на автомобильных и геосценариях: навигация и построение маршрутов; поиск мест по пути и рядом с пользователем; заправки, зарядки, парковки, сервисы и точки интереса; мультимедиа в автомобиле; управление функциями автомобиля (климат, окна, двери, багажник, подогревы и другие); сценарии умного дома из автомобиля.
- Вы будете работать с данными на всём цикле улучшения модели: находить реальные пользовательские кейсы в логах; собирать датасеты для обучения и тестирования; проектировать разметку интентов, tool calls и ошибок; анализировать качество разметки.
Требования
- Работали от 2-х лет в роли Data Analyst / Product Analyst / Analyst в data-driven продукте
- Работали с LLM/Generative AI помимо решения бытовых задач и хотите создавать свои AI-системы
- Проводили продуктовую аналитику и поиск инсайтов через данные
- Уверенно владеете SQL и Python для анализа данных
- Умеете работать с большими объёмами логов и событийных данных
- Понимаете основы статистики и A/B-тестирования
- Умеете формулировать продуктовые гипотезы и оценивать их эффект
- Обладаете системным мышлением и умеете разбираться в сложных многокомпонентных продуктах
Будет плюсом
- Работали с LLM-based продуктами или AI-ассистентами
- Занимались оценкой качества LLM (LLM-as-a-judge, evals, RAG и т. п.)
- Работали с NLP/NLU-продуктами или голосовыми ассистентами
- Знакомы с концепциями Agentic AI и tool calling
- Умеете строить дашборды (Tableau, DataLens, Superset и др.)
- Понимаете, как устроен цикл обучения и улучшения ML/LLM-моделей
- Умеете работать с неструктурированными данными и текстовыми логами