Data engineer

Описание вакансии

Описание вакансии:
Обязанности:
— Разработка, поддержка и оптимизация SQL/Python моделей данных в DBT
— Разработка Python скриптов для загрузки данных из разных источников
— Оркестрация ETL/ELT пайплайнов в Apache Airflow (Astro CLI)
— Разработка архитектуры моделей данных DWH (Clickhouse)
— Приоритизировать задачи от разных стейкхолдеров (внутренних и внешних)
— Документировать модели данных и ETL/ELT процессов
Требования:
— Высшее образование / Опыт не менее 2-х лет работы с данными
— Python (Data processing, API)
— Data modeling: Kimball, Inmon, OBT
— Опыт работы с DBT
— Глубокие знания SQL (оптимизация запросов, window functions, cte)
— Опыт работы с ETL-процессами и инструментами
— Опыт работы с MPP базами данных (Clickhouse)
— Tech stack: Python, DBT, Apache Airflow, Apache Superset, ClickHouse, Apache Kafka, PostgreSQL, Apache Cassandra, GitLab, Docker
Будет плюсом знание:
— Minio S3
— Apache Spark
— Apache Kafka, Apache Flink
— Kubernetes
График 5/2 оффлайн
Астана, левый берег
Корпоративные курсы
Корпоративы