Инженер данных (Data Engineer)

16 Октября

Партнерские Вакансии

Компания "СДЭК"

Мы — команда Больших данных CDEK. Наша главная задача — обеспечивать качество данных для продуктовых команд. Это помогает нам оставаться лидером рынка и своервременно доставлять посылки по всему миру.

Сейчас мы ищем коллегу, который поможет улучшить инфраструктуру для работы с данными. Тебе предстоит устанавливать инструменты для сборки и передачи данных, а также строить архитектуру хранилищ для БД вместе с командой дата инженеров и дата аналитиков.

Наш стек Airflow, Greenplum, Clickhouse, Kafka и Spark, S3.

Предстоит:

• Строить и поддерживать ETL процессы на нашем стеке (Airflow, Python)
• Проектировать модели данных
• Поддерживать и развивать корпоративное хранилище данных (Greenplum / Clickhouse)
• Писать SQL-запросы, оптимизировать и создавать аналитические витрины (Greenplum / Clickhouse)
• Писать и оптимизировать процессы через PySpark
• Поддерживать документацию, взаимодействовать со смежными ИТ-командами и бизнес-заказчиками

Мы ждем:

• Опыт написания сложных и оптимизированных SQL запросов
• Опыт работы и реализации кастомных функций в оркестраторе Airflow
• Опыт работы с S3 хранилищами (minIO), БД (Greenplum / Clickhouse / Postgres), с Message Queue (RabbitMQ, Kafka)
• Опыт разработки на Python и Java/Scala и работы в BI
• Опыт работы с docker, k8s
• Опыт проектирования моделей данных на S3 хранилищах (Iceberg)
• Знание принципов OLAP, MDX, построение дашбордов

Мы предлагаем:

• Участие в создании продуктов и сервисов, которые делают удобнее жизнь 23 млн клиентов в 40 странах мира
• Оформление по трудовому договору в аккредитованной компании
• Гибридный формат в офисах Новосибирска или Екатеринбурга, или удаленный формат работы в таймзоне Новосибирска или Екатеринбурга
• Социальный пакет: ДМС, скидки на занятия иностранными языками
• Профессиональное развитие: у нас действует система грейдов, проводим аттестации. Компенсацию обучения (курсы, митапы, конференции), корпоративный университет. Проводим регулярно ТехКомы, IT-пятницы