Data Engineer [Middle]

02 Июня

Партнерские Вакансии

Город:

Новосибирск

Занятость:

Полная занятость

Компания "Диплей"

deeplay — продуктовая ИТ-компания. Мы создаём системы и решения в сфере интеллектуальных игр.

Мы ценим идейных людей, которых заряжают нестандартные задачи и профессиональные вызовы.Тех, кто любит экспериментировать, находить уникальные решения и всегда ориентируется на результат. Если тебе близок такой подход, будем рады видеть тебя среди наших тиммейтов!

Сейчас нам нужен Data Engineer [Middle], который будет вносить свой вклад в развитие продуктов компании, сможет поддерживать открытое общение и дружескую атмосферу.

С нами ты можешь комфортно работать из любого уголка мира, потому что мы:

  • Настроили процессы технического оснащения, чтобы можно было рассчитывать на нашу помощь в подготовке техники для работы, где бы ты ни находился.
  • Выстроили систему взаимодействия — никаких бесконечных чатов в ТГ. Работаем через онлайн-сервис управления проектами и корпоративный мессенджер с настроенной картой каналов.
  • Организовываем рабочие процессы с учётом часовых поясов, время для регулярных командных встреч подбирается максимально удобно для всех.
  • Помогаем сохранять контекст и знакомиться с коллегами из других отделов — регулярно проводим общие информационные и развлекательные онлайн-мероприятия, а также командные встречи с выездами в российские города и за границу.

Наш стек: СУБД PostgreSQL / ClickHouse, Python, Apache Airflow, GitHub, Docker, Kubernetes.

Основные задачи:

  • Поддержка текущего функционала продукта.
  • Расширение и развитие функционала действующего продукта.
  • Анализ логов, данных, выстраивание логических цепочек, построение и проверка гипотез;
  • Создание и поддержка новых дата-пайплайнов;
  • Работа с Clickhouse. Написание и оптимизация средних/сложных SQL запросов;
  • Анализ, подготовка и обработка данных;
  • Обеспечение качества данных.

Предстоит поддерживать и развивать:

  • Десктопное кроссплатформенное ПО (Java 17+, Swing);
  • Монолитное ПО, включает в себя клиентскую и серверную части (взаимодействие посредством gRPC);
  • Отсутствие фрэймворка, используются собственные наработки;
  • Организация взаимодействия с БД (PostgreSQL, ClickHouse) посредством jdbc, без подключения дополнительных библиотек;
  • Организация работ механизмов в многопоточном режиме с помощью ExecutorService, CompletableFuture;
  • Покрытие кода тестами (Mockito, JUnit);
  • Аналитические запросы и большие объёмы данных (~60 TB).

Основное:

  • PostgreSQL: глубокое знание системных каталогов, статистики, индексов, партиционирование, наследование, foreign tables, EXPLAIN ANALYZE, cost model, pg_stat_statements, pg_stat_activity, pg_locks, индексные стратегии, lock monitoring

  • SQL: сложные запросы с CTE, window functions, lateral joins, динамический SQL, хранимые процедуры, триггеры, функции, query rewriting, понимание планов выполнения

    Для реализации задач тебе потребуется:

  • Опыт работы в аналогичной роли от 3 лет

  • знание теории реляционных БД, понимание логической, физической моделей БД;

  • опыт оптимизации сложных запросов;

  • опыт поиска проблем в работающих под высокой нагрузкой системах.

  • Опыт создания и поддержки ETL-процессов;

  • Глубокий практический опыт разработки на Python (pandas, numpy);

  • Опыт работы с Apache Airflow, самостоятельное создание DAG;

  • Опыт работы с СУБД PostgreSQL, написание средних/сложных и нетривиальных SQL-запросов;

  • Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата;

  • Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения.

Будет плюсом:

  • Bash: скрипты для автоматизации рутинных операций
  • Linux: command line (уверенный уровень), systemd, cron, bash scripting
  • Понимание алертинг стратегии
  • Опыт работы с ClickHouse
  • Docker (базовое понимание)
  • Ansible/Terraform: базовое понимание для автоматизации
  • Python/Pandas для сложной аналитики
  • Jupyter notebooks для исследовательского анализа
  • pgBadger для детального анализа
  • Мониторинг БД: анализ connection pools (PgBouncer), performance troubleshooting, анализ wait events

Мы предлагаем:

  • Гибкий подход к формату и месту работы — выбирай любое место на карте или один из комфортных офисов в Омске, Новосибирске и Санкт-Петербурге;
  • Корпоративную культуру: общаемся на равных, поддерживаем друг друга, ценим обратную связь и инициативность, легкость общения и юмор.
  • Возможность влиять на процессы: если увидишь потенциал для улучшения, сможешь воплотить свои идеи, повысить эффективность и качество продукта.
  • Стать частью команды, которая находит драйв в своих задачах и стремится к технологическому лидерству в индустрии.
  • Доступность руководства компании и открытую внутреннюю политику.

Обучение и развитие:

  • Оценка компетенций и составление индивидуального плана для прокачки твоих скилов.
  • Ежегодный перфоманс ревью с полезными рекомендациями от команды и возможностью увидеть свои достижения глазами тиммейтов.
  • Частичная компенсация затрат на обучение.
  • Изучение английского языка для всех желающих 2 раза в неделю.
  • Доступ к корпоративной офлайн и онлайн-библиотеке.
  • Регулярные шаринги знаний, хакатоны, митапы, трансляции, турниры.

Корпоративная жизнь:

  • Открыто делимся новостями о развитии компании: регулярно проводим интервью и внутренние бизнес-мероприятия с руководителями и экспертами deeplay.
  • Работаем из любой точки мира, но всё равно не теряем связь с командой — помогают в этом командообразующие мероприятия: живое общение, новые локации и настоящие эмоции. Делаем ставку на реальные впечатления и командный дух.
  • Поддерживаем актуальное внутреннее информирование: систематически публикуем дайджесты о стратегии, продуктах и технологиях компании.
  • Развиваем тематические комьюнити: проводим командные и личные турниры, участвуем в квизах/мозгобойнях, спортивных челленджах.
  • Оказываем спонсорскую помощь профильным факультетам, выступаем с технической экспертизой на внешних мероприятиях, создаём собственные образовательные проекты.

P.S.: Хоть мы и постарались вместить в описание больше деталей, но нам все еще есть что рассказать. Будем рады познакомиться ;)

Похожие вакансии

29 Мая

Мидл программист С++/ middle С++( Абарус )

Новосибирск

Компания "Абарус" Мы «ABARUS_IT» - аккредитованная IT-компания, организованная в 2017 году. Компания активно развивается и нацелена на...

Отправить резюме подробнее

30 Мая

QA Automation engineer (Стажер)

Новосибирск

Компания "Центр финансовых технологий" Приглашаем начинающих специалистов, которые хотят начать карьеру инженера по автоматизации тестирования...

Отправить резюме подробнее

30 Мая

Сетевой инженер (IP, маршрутизация и коммутация) — Junior / Middle( ЭТСИ )

Новосибирск

Компания "ЭТСИ" Крупная телекоммуникационная компания приглашает в команду Сетевых инженеров, которые хотят развиваться в области мобильных и...

Отправить резюме подробнее

30 Мая

Linux Engineer

Новосибирск

от 150 000 руб.

Компания "LEDsi Smart Innovations" LEDsi Smart Innovations — торгово-производственная компания, которая занимается разработкой и внедрением...

Отправить резюме подробнее

30 Мая

Python developer (Middle)

Новосибирск

от 150 000 до 250 000 руб.

Компания "Майгрин Маркет" Привет! Мы Greenway Global — международная компания с зелёной миссией и оранжевым настроением. Улучшаем качество жизни...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: