Чем предстоит заниматься
- Руководить с технической стороны процессом исследования и разработки (RnD) внутренней LLM компании — от данных до этапов дообучения модели (continual pre-training, post-training).
- Самостоятельно обучать Mixture of Experts модели размера 200B+ на многоузловом кластере в распределённом режиме: Data Parallel, Expert Parallel, Context Parallel, Pipeline Parallel и других.
- Вносить вклад в развитие фреймворка с открытым исходным кодом для распределённого обучения.
Требования
- Есть опыт в роли инженера-исследователя от трёх лет.
- Хорошо разбираешься в фундаментальных моделях.
- Обучал LLM в распределённом режиме с 3D+ параллелизмом.
- Умеешь отлаживать сложные эксперименты на низком уровне.
- Пишешь поддерживаемый и воспроизводимый код.
- Умеешь работать в команде и передавать свой опыт менее опытным коллегам.