Senior/Expert Data Engineer

Огляд

Вакансія передбачає службу в одному зі спецпідрозділів Сил Оборони України. Підрозділ шукає Senior/Expert Data Engineer для адаптації рішень щодо машинного опрацювання великої кількості даних ворога.

Обов'язки

• проєктування, розробка й підтримка систем ELT
• побудова й оптимізація ETL/ELT-процесів
• інтеграція даних з різних джерел, забезпечення їхньої якості й консистентності
• впровадження й налаштування інфраструктури для обробки даних
• використання сучасних інструментів і технологій для обробки даних, таких як Python, PySpark, SQL, Apache Airflow, Apache NiFi
• співпраця з командою для розробки й впровадження нових рішень
• розробка й впровадження моделей даних, схем і діаграм потоків для керування розробкою
• моніторинг продуктивності data pipelines, виявлення й усунення вузьких місць, оптимізація швидкості обробки даних і зменшення затримок
• пошук і вирішення проблем, пов’язаних із data pipelines, забезпечення постійної доступності й надійності даних для підтримки процесів прийняття рішень на основі даних
• впровадження найкращих практик управління даними й безпеки для захисту конфіденційної інформації
• постійне вдосконалення технологій і методів обробки даних

Вимоги

• досвід роботи Data Engineer від 8 років
• високий рівень володіння Python та PySpark
• досвід роботи з великими даними (Apache Hadoop, Spark, Kafka, BigQuery)
• досвід роботи з хмарними платформами (AWS, Google Cloud, Azure)
• експертиза в моделюванні даних, сховищах даних і концепціях ETL/ELT
• досвід роботи з базами даних (PostgreSQL, MySQL, NoSQL)
• вміння вирішувати проблеми й аналітичні навички
• відмінні комунікативні й навички роботи в команді
• знання основ безпеки даних і конфіденційності
• сертифікація в хмарних платформах або суміжних областях буде перевагою
• досвід роботи з LLM API буде перевагою
• знання технологій контейнеризації (Docker, Kubernetes) буде перевагою
• базове розуміння HTTP для викликів API буде перевагою

Умови

• служба за контрактом до кінця воєнного стану
• служба в офісі у місті Київ, 5 днів на тиждень
• сертифікація, яка буде цінною у цивільному житті
• можливості для професійного розвитку й зростання
• підтримка освіти й навчання