Senior Data Engineer

- Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition - Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) - Renforcer la modularité, la lisibilité, lévolutivité et la scalabilité des pipelines - Contribuer à la réduction de la dette technique et à la modernisation du legacy - Structurer un framework flexible permettant lajout de nouvelles features et facilitant lindustrialisation des développements - Mettre en place les tests unitaires, dintégration et fonctionnels - Formaliser des standards de développement - Améliorer la stabilité des pipelines grâce au monitoring et à lapplication des bonnes pratiques CI/CD - Structurer et prioriser les actions de RUN et de stabilisation - Définir et piloter un plan doptimisation priorisé avec des gains mesurables - Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à léchelle - Optimiser le ratio coût / performance des traitements - Travailler en étroite collaboration avec les Data Scientists et les ML Engineers