Data Platform Engineer H/F

- Migrer les architectures multi-technologies Databricks + Unity Catalog + dbt. - Évaluer les flux existants (batch/stream, orchestrations, modèles, coût/performance) et définir des modèles cibles (Delta Lake, Databricks Jobs/Workflows, modèles dbt). - Réécrire les pipelines (Kubernetes/Airflow/Spark/SQL) et replatformer les modèles dans dbt en appliquant les conventions de nommage, les tests et la documentation. - Intégrer les actifs dans Unity Catalog (RBAC/ACL, lignage, masquage des données/PII), structurer les catalogues/schémas et gérer les autorisations. - Mettre en oeuvre des systèmes robustes et tolérants aux pannes pour lingestion et le traitement des données. - Renforcer la CI/CD des données (tests dbt dans PR, linting, vérifications de schéma) et lorchestration avec réessai/backoff, dépendances et conformité avec les SLAs. - Déployer lobservabilité de bout en bout (métriques du pipeline, fraîcheur, couverture des tests) et les alertes (par exemple, Datadog) avec des playbooks et des objectifs de temps moyen de réparation (MTTR). - Définir et surveiller les contrats de données et les SLO avec les équipes consommatrices et garantir la conformité. - Tenir à jour la documentation (catalogue, définitions des métriques, journaux des modifications) et créer des runbooks standardisés pour laudit et le déploiement des données. - Optimiser les tâches/tables Delta (partitioning, ZOrder, OPTIMIZE, autoscaling) ; surveiller les coûts/performances (budget, rentabilité unitaire par pipeline). - Travailler en collaboration avec différentes équipes, notamment celles chargées de data science, infrastructure, équipe software, équipe produit et équipe conseil, afin de comprendre leurs besoins en matière de données et de leur fournir des solutions. - Collaborer avec les Client Analytics Engineers afin de traduire les besoins des retailers en modèles fiables et faciles à maintenir. - Diffuser les bets practices (modèles dbt, guides dintégration, listes de contrôle qualité). - Former les membres de léquipe à linterrogation SQL dans Databricks et diriger les mises à jour pendant les sessions Data Domain. - Déployer les directives existantes pour migrer les pipelines dingestion/ELT sur Databricks (jobs/workflows, Spark/SQL) et les modèles dbt avec des tests et des documents. - Créer des blocs de code standardisés à utiliser par le reste de léquipe et gérer les PRs acceptées afin de limiter la dette technique. - Déployer lobservabilité (dashboard Datadog, alertes) et réduire le MTTR à laide de runbooks exploitables. - Gérer les ensembles de données sous Unity Catalog (catalogues/schémas/tables, lignage, accès, masquage) afin de garantir la conformité et la sécurité. - Piloter les contrats de données et les SLO, surveiller la fraîcheur/qualité/dérive des schémas. - Tenir à jour une documentation claire et fournir des modèles afin daccélérer les migrations ultérieures.