Дата инженер( 2ГИС )

20 Июня

Партнерские Вакансии

Город:

Новосибирск

Занятость:

Полная занятость

Компания "2ГИС"

Мы строим корпоративную дата-платформу следующего уровня. Это новый сервис с амбициозной задачей: трансформировать наработки компании в единое стандартизированное решение для работы с данными. Отказываемся от легаси, проектируем архитектуру заново, сохраняем лучшее (например, Apache Spark), и постепенно переносим существующие пайплайны на новую платформу.

С нуля — это не «начать с чистого листа», это возможность заложить фундамент, который будет надёжным, масштабируемым и понятным десяткам инженерных команд. Именно сейчас мы переопределяем техстек, архитектурные подходы, процессы. И именно сейчас у тебя есть шанс поучаствовать в запуске платформы, куда будут стекаться все корпоративные данные.

Что предстоит делать:

  • Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform;
  • Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse);
  • Работать с большими объёмами данных и высоконагруженными Kafka-топиками;
  • Строить отказоустойчивые пайплайны обработки и доставки данных;
  • Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных;
  • Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP);
  • Сопровождать миграцию BI-отчётов на новую платформу (например, DataLens, Power BI).

Почему это интересно:

  • Ты действительно будешь создавать платформу с нуля — не “настроил Airflow и готово”, а архитектура верхнего уровня с безопасностью, мониторингом и многопользовательской нагрузкой;
  • Прямое влияние на технологический курс всей компании: твои решения будут использовать десятки команд;
  • Работа с современным стеком: Spark 3+, Kafka, S3, ClickHouse, и BI-инструментами;
  • Возможность реализовать техрешения, которые трудно было бы внедрить в рамках существующего кода/подходов;
  • Технический вызов: миграция с Hadoop, масштабируемость, отказоустойчивость, строгие SLA на доставку данных.

Мы будем рады специалисту, который:

  • Имеет 5+ лет опыта на позиции Data Engineer / Big Data Engineer;
  • Отлично понимает, как работает Spark и умеет его готовить (RDD/DataFrames, Partitioning, Tuning);
  • Имеет опыт работы с высоконагруженной Kafka (десятки/сотни тысяч событий, масштабируемость, latency);
  • Работал с ClickHouse и знает, как «выжать» из него максимум;
  • Знаком с построением дата-архитектуры (DWH, OLAP, ETL/ELT, чанки, шардирование, SLA);
  • Умеет проектировать пайплайны под отказоустойчивость, traceability и продакшеновую эксплуатацию;
  • Пишет на одном из языков программирования, например, Scala
  • Знает SQL и может читать логику отчетов без боли;
  • Понимает, как работать с облачными хранилищами и строить отказоустойчивую delivery (AWS S3 - плюс).

Плюсом будут:

  • Опыт построения дата-платформ и миграции данных между системами / подходами;
  • Знание инструментов мониторинга и автоматического контроля качества данных (data contracts);
  • Опыт настройки OpenMetadata / DataHub, реализации практик Data Governance;
  • Опыт с Trino, Presto, dbt;
  • Инфраструктурный опыт: Docker, Kubernetes, CI/CD.

Как мы работаем:

  • Не боимся убирать легаси — мы осознанно избавляемся от устаревших решений;
  • Оцениваем эффективность не по объёму кода, а по бизнес-ценности;
  • Любим, когда инженер предлагает нестандартные, но обоснованные решения;
  • Верим, что архитектура важна, если её понимают (human-friendly документация — мастхэв);
  • Умеем договариваться — и с бизнесом, и между собой.

Что мы предлагаем:

  • 2ГИС — аккредитованная IT-компания;
  • У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске;
  • Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании;
  • Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента;
  • Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра;
  • Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.

Похожие вакансии

19 Июня

Сервисный инженер-механик( Агро-Мастер )

Новосибирск

от 100 000 руб.

Компания "Агро-Мастер" ООО "АГРО-МАСТЕР" является официальным дилером известных мировых производителей сельскохозяйственной техники. Вы...

Отправить резюме подробнее

19 Июня

Технико-коммерческий инженер( Rineco Group )

Новосибирск

Компания "Rineco Group" В связи с открытием нового бизнес-направления «Стационарные аккумуляторные батареи (АКБ) для промышленности» приглашаем...

Отправить резюме подробнее

19 Июня

Инженер (ПГР)

Новосибирск

от 350 000 до 450 000 руб.

Компания "ВиЭй сервисиз" ООО «ВиЭй Сервисиз» — ведущий дистрибьютор и поставщик сервисной поддержки мировых брендов горнодобывающего и...

Отправить резюме подробнее

19 Июня

Инженер-технолог( Гидроснаб ТД НМЗ )

Новосибирск

от 90 000 руб.

Компания "Гидроснаб ТД НМЗ" Обязанности: Разработка ТД на изделие или партию после получения КД от конструкторского бюро; Отработка с...

Отправить резюме подробнее

18 Июня

Инженер холодильного оборудования

Новосибирск

от 150 000 до 200 000 руб.

Компания "СоюзХолодУрал" Федеральная компания «СоюзХолодУрал» с 2012 года успешно работает в направлении производства, поставки, монтаж и...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: