Data Engineer (EDP)

Компания "Группа компаний С7"

S7 TechLab – IT компания, реализующая инновационные IT продукты для подразделений группы компаний S7. Собственная система управления программой лояльности, развлекательный портал на борту для пассажиров – это лишь некоторые примеры типовых задач, которые реализуются силами команды S7 TechLab и помогают авиакомпании занимать лидирующее место на рынке авиаперевозок России.

Обладая внутренней IT-экспертизой и инновационным подходом, мы развиваем онлайн-сервисы для путешественников. В приложении и на сайте s7.ru можно не просто купить билет, но и полностью организовать своё путешествие: забронировать отель, взять с собой питомца, купить товары в дорогу. В нашей команде работают талантливые и увлеченные специалисты, которые каждый день создают лучший трэвел-опыт в России.

Сейчас мы находимся в поисках Data-инженера в Проект Data Platform. Это аналитическая платформа уровня предприятия на основе различных open-source решений с уклоном в Self-service. Платформа имеет различные компоненты и принципы, как: раздельное вычисление от хранения данных, каталог данных на базе datahub и др. Команда постоянно развивает существующие решения и адаптирует интересные новинки и подходы в области инженерии данных.

Чем предстоит заниматься:

• Разработка и поддержка ETL/ELT процессов для интеграции с различными видами источников. В основном мы работаем с Trino и табличным форматом Apache Iceberg, описываем логику трансформаций в DBT и оркестрируем в Airflow.2;
• Настройка инструментов и фреймворков для обработки и анализа данных;
• Взаимодействие с командой аналитиков по постановке задач и командой разработки по технической реализации;
• Миграция с легаси решений на новые целевые.

Что мы ждем от кандидатов:

• Уверенное знание SQL;
• Владение одним из языков программирования (Python, Scala, Java);
• Опыт работы с любой MPP системой (Vertica, Greenplum, Trino) и понимание особенностей работы систем такого класса в отличии от классических РСУБД;
• Опыт работы с airflow, понимание устройства инструмента и умение писать даги;
• Навыки работы Git;
• Умение работать в команде, хорошие коммуникативные навыки.

Будет плюсом, если знаете и применяли в работе:

• Распределенный брокер Kafka;
• Распределенные движки выполнения запросов и трансформации данных (Trino, Spark);
• Табличный формат Apache Iceberg;
• DBT как ELT фреймворк;
• Опыт работы с DQ фреймворками (GE, Soda, Deeque);
• Понимание принципов контейнеризации и оркестрации (Docker, Kubernetes).

Мы предлагаем:

• Работа в аккредитованной IT-компании;
• Гибридный формат работы;
• Работа в комфортном офисе по адресу ул. Кирова, 23;
• Интересные и амбициозные задачи, открытость к любым, даже самым смелым идеям и предложениям в своей зоне ответственности;
• ДМС со стоматологией после прохождения испытательного срока;
• Корпоративная жизнь, насыщенная разнообразными коллективными событиями;
• Подарки для детей к первому классу и на Новый год;
• Профессиональное развитие: проходить обучение в компаниях-партнерах, участие и выступление в конференциях;
• Летать по корпоративным тарифам S7 Airlines. Спойлер: почти бесплатно!
• Корпоративные скидки в PrimeZone: скидки в рестораны, на обучающие курсы, товары и тд.;
• Программа комплексной поддержки «Понимаю» (бесплатные консультации юристов, психологов, нутрициологов, финансистов).