Тип вакансії: Повна зайнятість

Розташування:

Шукаємо Data Engineer, який допоможе розвивати нашу data-платформу та будувати надійні пайплайни, на яких тримається аналітика компанії: від фрод-детекції та LTV-моделей до щоденної звітності для бізнесу. Ця роль для людини, яка любить писати чистий код, розбиратися в нових джерелах даних, покращувати вже існуючі рішення та доводити задачі до production, а не просто до «працює в ноутбуці».

Основні обов'язки
Розробка пайплайнів
Розробляти та підтримувати пайплайни в Databricks (PySpark, Delta Lake) за Medallion-архітектурою (Bronze Silver Gold).
Інтегрувати дані з API зовнішніх сервісів, з якими працює компанія (CRM,, партнерські платформи тощо), а також з Kafka-топіків, PostgreSQL, MySQL, MongoDB та Google Sheets.
Налаштовувати оркестрацію в Airflow (MWAA) та Databricks Workflows.
Будувати вітрини даних для аналітики та Power BI.
Якість та стабільність даних
Додавати перевірки data quality і звірки між джерелами.
Розбиратися з падіннями пайплайнів та аномаліями в даних.
Документувати таблиці, трансформації та бізнес-логіку.
Аудит та оптимізація
Проводити аудит існуючих пайплайнів і рішень: шукати вузькі місця, дублювання логіки, зайві витрати на обчислення.
Оптимізувати та рефакторити існуючі рішення з погляду швидкодії, вартості та підтримуваності
Сервіси та внутрішні інструменти
Разом із Lead of Analytics проєктувати єдину архітектуру для standalone-сервісів і ботів: деплой, конфігурація, логування, моніторинг, обробка помилок.
Переводити існуючі скрипти на цю архітектуру та підтримувати їх стабільну роботу.
Розвивати внутрішні інструменти: алерти, моніторинг, допоміжні утиліти.

Що для нас важливо
Від 2 років досвіду в Data Engineering або Backend-розробці з акцентом на дані.
Впевнений Python: чистий, читабельний код, обробка помилок.
Досвід інтеграції зі сторонніми API: авторизація, пагінація, rate limits, ретраї, зміни у структурі відповідей.
Досвід з PySpark / Spark SQL (у Databricks або іншому середовищі).
Хороший SQL: віконні функції, CTE, розуміння планів запитів.
Досвід з Apache Airflow або іншим оркестратором.
Розуміння ETL/ELT, incremental loads, idempotency, backfills.
Базове розуміння data modeling (факти й виміри, SCD).
Досвід розробки та підтримки сервісів, що працюють постійно (боти, воркери, демони): логування, обробка збоїв, конфігурація.
Досвід роботи з Git та pull requests.
Самостійність: вміння розібратися в новому джерелі чи API без покрокових інструкцій і поставити правильні питання, коли щось незрозуміло.
Буде плюсом
Databricks, Delta Lake, Unity Catalog.
Досвід роботи з Kafka(читання топіків, обробка повідомлень).
AWS.
MongoDB, Power BI.
Docker, досвід контейнеризації та деплою сервісів.
Досвід побудови систем алертингу та моніторингу.
CI/CD, Databricks Asset Bundles, Terraform.
Досвід розробки ML-моделей.
Досвід в iGaming.

Що ми пропонуємо
Роботу над міжнародним продуктом у сфері iGaming.
Сучасний стек: Databricks, Airflow, AWS.
Різноманітні задачі: інтеграції з зовнішніми сервісами, оптимізація пайплайнів, архітектура сервісів.
Реальний вплив на розвиток data-платформи.
Гнучкий графік початку роботи та повністю віддалений формат
17 оплачуваних днів відпустки на рік
15 оплачуваних днів лікарняних на рік
2 додаткові оплачувані вихідні на рік на екстренні випадки
Медичне страхування після завершення випробувального терміну (для кандидатів в Україні)
Відсутність бюрократії, динамічне середовище, де твій внесок швидко стає помітним.

The post Data Engineer appeared first on Remote Work Ukraine [Українське].