Data Engineer

В нашей команде дата-инженеры занимаются организацией данных и витрин для их получения. Главные потребители наших данных – data scientist’ы, которые занимаются поиском закономерностей, значимых признаков в данных и тренировкой моделей машинного обучения.

Спектр задач широкий

— проектирование и построение DWH

— подготовка витрин данных для отчетности, бизнеса и дата аналитики

— организация пайплайнов сбора данных от бэкендов и других хранилищ

— организация пайплайна подготовки датасетов для обучения ML моделей

— организация мониторинга компонентов корпоративной платформы данных

— разработка ETL/ELT пайплайнов и поддержка существующих

Apache Airflow, Apache Spark, Apache Kafka, Apache Flink, ClickHouse, Kubernetes, Hive, Impala, Zeppelin, HUE, Scala и Python.

На минималках потребуется:

— Java8+, Scala или Python (один из языков на хорошем уровне)

— знание алгоритмов и структур данных

— знание SQL и принципов работы классических БД

— желание развиваться в BigData и ML

Какие еще навыки будут полезны в работе:

— Hadoop, Spark, YARN, Hive, Impala

— noSQL базы: Cassandra, Elastic

— анализ данных при помощи Python-ноутбуков Jupyter, Zeppelin

— работа с очередями сообщений: Kafka, Rabbit, JMS

— понятная траектория роста (performance review, карьерные консультации, индивидуальная карта развития и т.д.)

— обучение и развитие за счёт ресурсов компании (Учебный центр, корпоративная библиотека, оплата внешнего обучения)

— социальный пакет (ДМС с первого рабочего дня, скидки от партнёров, детская программа и т.д.)

— насыщенная корпоративная жизнь (радио, подкасты, кибертурнир, собственные мероприятия и участие в крупных событиях отрасли)

— возможность быть преподавателем, наставником, автором корпоративного блога, спикером – каждый выбирает то, что подходит именно ему

— официальное трудоустройство с первого дня, полностью белая зарплата

— удобный формат работы (удаленно по РФ или офисе/в гибридном формате)