Développeur Big Data Data Engineer Confirmé H/F - Kaizen Solutions

Kaizen Solutions ?

Kaizen Solutions est une société de conseil (ESN) spécialisée dans les systèmes d'information complexes.
Nous accompagnons nos clients, de la start-up aux grands groupes industriels, dans la conception et le développement de solutions logicielles sur mesure, sur l'ensemble de la chaîne technique, du capteur jusqu'au cloud.

Notre promesse employeur est simple :
Travailler chez Kaizen, c'est le meilleur moyen de progresser rapidement.
Nos équipes sont composées de profils passionnés, qui ont envie d'apprendre, de partager et de transmettre, dans un environnement où l'expertise technique et la montée en compétences sont réellement valorisées.

Oubliez tout ce que vous connaissez ou pensez connaître sur les ESN, et découvrez qui nous sommes (on est vraiment différents, et on a hâte de vous expliquer de vive voix pourquoi) !

Contexte du poste

Au sein d'une Direction des Systèmes d'Information, le pôle concerné assure la conception, le développement, le maintien en condition opérationnelle et l'évolution de systèmes d'information traitant des données massives issues d'équipements connectés et de réseaux. L'équipe mène des études et développe des produits data innovants (maintenance prédictive, mobilité électrique, analyse de charges réseau), en lien étroit avec les métiers, pour optimiser l'exploitation des actifs et favoriser de nouveaux usages.

Stack technique : Python, pySpark, Hadoop/HDFS (migration vers Databricks/Delta Lake en cours), Airflow, PostgreSQL, GitLab/GitLab-CI/CD, Jira/Confluence, PowerBI.

Vos missions

Développement de pipelines de données

• Conception, développement et optimisation de pipelines pySpark traitant de gros volumes de données (plusieurs dizaines de millions de lignes)
• Mise à disposition de données dans le datalake d'entreprise
• Maintenance évolutive et corrective des chaînes de traitement en production

Supervision et qualité des données

• Mise en place d'outils de supervision technique et de qualité des données avec l'équipe DevOps
• Contribution au run des traitements en production (monitoring, alerting, contrôle qualité)

Architecture et conseil

• Propositions de conception et d'architecture (traitements, modèles de données), avec l'appui du Tech Lead
• Accompagnement des data scientists de l'équipe dans l'industrialisation de leurs codes d'étude et d'expérimentation
• Rôle de conseil en data engineering auprès de l'équipe et d'autres projets

Migration Cloud

• Contribution à la préparation et à la réalisation de la migration vers Databricks

Veille et partage de connaissances

• Veille technologique sur les outils et pratiques de data engineering (Spark, Databricks, Cloud)
• Partage de connaissances et formation aux bonnes pratiques (qualité de code, tests, performance Spark)

Profil recherché

• Au moins 5 ans d'expérience en data engineering, dont une expérience significative en pySpark (conception et mise en production de pipelines traitant des volumes massifs)
• Expérience significative de traitements Spark en production sur Databricks et/ou sur un cluster Hadoop (Databricks privilégié)
• Expérience de run et de mise en production, d'optimisation, de maintenance et de supervision de pipelines Spark en production
• Expérience avec un outil d'ordonnancement en environnement cloud (Airflow)
• Maîtrise de l'industrialisation : tests, revue de code, packaging, CI/CD (Git, GitLab-CI)
• Bonnes connaissances SQL, notamment PostgreSQL
• Capacité à proposer et documenter des architectures de traitements et de jeux de données
• Autonome, rigoureux, proactif, bon sens de l'organisation
• Bonne capacité de communication et de pédagogie, y compris auprès de profils data science ou métier

Un plus : expérience sur des données d'adresse ou des données spatiales (Sedona, geopandas)

• Python
• Jira
• Pédagogie
• Rigueur et méthode
• PostgreSQL
• Pro-activité
• Git
• Contrôle qualité
• SQL
• Hadoop
• Sens de l'organisation