Чем предстоит заниматься
- проектировать и собирать витрины данных по разработанному ТЗ
- проектировать, разрабатывать и поддерживать ETL-процессы для загрузки данных из/в Data Lake
- писать документацию - комментировать код
- работать с data-аналитиками для создания новых и оптимизации существующих витри
Требования
- опыт на позиции Data Engineer от 3-х лет
- понимание основных операций СУБД и принципов DWH
- опыт работы с Hadoop технологиями (Spark, Hive и тд)
- опыт работы с Azure/Yandex облачными платформами
- опыт разработки и поддержки ETL-пайплайнов (Airflow/Azure Data Factory)
- хорошее знание SQL, Python
- уверенный опыт работы с базами данных PostgreSQL и ClickHouse
- опыт работы с инструментами обеспечения качества данных (Great Expectations)