Data Engineer (DWH)

Огляд

Вакансія передбачає службу у складі core-команди, яка відповідає за цифрову трансформацію та архітектуру даних ключових державних реєстрів у сфері оборони. Управління розробляє логіку роботи з великими обсягами даних, впроваджує процеси дедуплікації та очищення, а також будує аналітичну інфраструктуру для прийняття управлінських рішень на державному рівні. Команда працює над тим, щоб перетворити складні, розрізнені потоки інформації на єдину, надійну та транспарентну систему з нульовою толерантністю до аномалій.

Обов'язки

• організація, розробка та супровід процесів завантаження даних до DWH з погоджених джерел і в погодженому контурі обробки даних
• побудова та підтримка базових шарів зберігання DWH, зокрема raw, staging, operational/core layers та технічних проміжних структур
• розробка, налаштування, моніторинг і підтримка технічних пайплайнів отримання, перевірки, трансформації та завантаження даних
• розробка та супровід DAG-процесів в Apache Airflow для регулярного, контрольованого та відтворюваного оновлення даних
• використання Python для автоматизації завантажень, обробки даних, технічних перевірок, інтеграції з API, файлами, базами даних та іншими джерелами
• розробка та оптимізація SQL-запитів, процедур, скриптів і технічних трансформацій у межах DWH
• контроль стабільності, своєчасності, повноти та коректності завантажень, включно з моніторингом помилок, повторними запусками, алертингом і журналюванням
• впровадження перевірок якості даних на етапах отримання, завантаження та базової трансформації даних
• участь у визначенні правил структурування даних, неймінгу, версіонування, зберігання історії змін і технічних стандартів DWH
• взаємодія з власниками джерел даних, адміністраторами систем, аналітиками, BI-командами та командами інформаційної безпеки щодо доступів, форматів, графіків і правил обміну даними
• участь у розвитку архітектури DWH, стандартизації технічних підходів до ingestion, оркестрації, моніторингу та контролю якості даних

Вимоги

• вища освіта у сфері інформаційних технологій, комп’ютерних наук, прикладної математики, інженерії даних, кібернетики або суміжних напрямів
• досвід роботи у сфері data engineering, DWH, ETL/ELT, інтеграції даних або побудови технічних пайплайнів від 5 років
• практичний досвід проєктування, розробки та супроводу процесів завантаження даних до DWH з різних типів джерел
• розуміння архітектури DWH, принципів побудови базових шарів зберігання, raw/staging/core layers, технічних довідників і проміжних структур
• впевнене володіння SQL для розробки, трансформації, перевірки, оптимізації та аналізу даних у сховищі
• впевнене володіння Python для розробки технічних пайплайнів, автоматизації завантажень, обробки файлів, роботи з API та перевірки якості даних
• обовʼязкові резюме українською мовою і короткий супровідний лист

Умови

• тільки переведення чинних військовослужбовців за згодою безпосереднього командира (початково відрядження кандидата, після успішного проходження випробувального терміну – оформлення переведення в підрозділ)
• можливість переведення чинних військовослужбовців, які за висновком ВЛК придатні до служби у військових частинах забезпечення, ТЦК та СП, ВВНЗ, навчальних центрах тощо
• грошове забезпечення згідно зі штатним розкладом і тарифним розрядом посади
• соціальні пільги згідно з нормами чинного законодавства: щорічна відпустка 30 календарних днів
• медичне забезпечення
• робота у професійній та вмотивованій команді, місія якої трансформувати культуру прийняття рішень
• робота в офісі, 6 днів на тиждень
• служба в місті Київ