Data Engineer Pyspark Confirmé Équipe Ailp - Branchements - Lyon H/F - Altrion

L'équipe développe et exploite des produits data liés aux activités de branchement et à la gestion des adresses.

Le Data Engineer interviendra sur des pipelines PySpark traitant plusieurs dizaines de millions de lignes. Les traitements contribuent notamment à maintenir des données de qualité autour de plus de 25 millions d'adresses et de plus de 40 millions de clients.

La mission s'inscrit dans un contexte de développement produit, de maintien en conditions opérationnelles et de migration progressive vers Databricks.

La personne retenue travaillera avec les Data Scientists, le Tech Lead, le DevOps et les équipes métiers.

Missions principales

Développement et optimisation des pipelines

- Concevoir et développer des pipelines PySpark traitant de gros volumes de données.
- Maintenir et faire évoluer les chaînes de traitement existantes.
- Corriger les anomalies rencontrées en production.
- Optimiser les performances et la consommation des ressources.
- Préparer les traitements pour leur exécution dans des environnements de test, préproduction et production.
- Mettre à jour la documentation technique et fonctionnelle associée.

Supervision et exploitation

- Mettre en place des outils de supervision technique et de suivi de la qualité des données.
- Construire les tableaux de bord nécessaires au suivi des traitements.
- Participer au run des produits en production.
- Analyser régulièrement les indicateurs de performance.
- Contribuer à la gestion et à la résolution des incidents.

Architecture et accompagnement

- Proposer des architectures de traitements et de modèles de données.
- Participer à la rédaction des dossiers techniques, d'urbanisme et d'architecture.
- Accompagner les Data Scientists dans l'industrialisation de leurs développements.
- Contribuer à la définition de la roadmap d'industrialisation.
- Conseiller l'équipe sur les choix techniques et les pratiques de développement.

Migration vers Databricks

- Tester les pipelines sur un environnement Databricks.
- Préparer les schémas et supports de migration.
- Adapter les traitements aux contraintes du cloud.
- Participer à la migration effective des traitements.

Environnement technique

Python / PySpark / Spark / Hadoop / HDFS / Databricks / Delta Lake / Airflow / PostgreSQL / GitLab / GitLab CI/CD / Jira / Confluence / Power BI.

L'environnement actuel repose principalement sur Hadoop / HDFS. La cible prévoit une utilisation accrue de Databricks et Delta Lake à partir de 2027.

- Formation et expérience en Data Engineering.
- Expérience significative en PySpark et sur des traitements de gros volumes.
- Expérience de Spark en production, sur Databricks et/ou Hadoop.
- Maîtrise du monitoring, du run, de la gestion des incidents et de la qualité des données.
- Bonne maîtrise de Python, SQL et des pratiques CI/CD.
- Autonomie, rigueur et bonnes capacités de communication.

Une expérience sur les données d'adresses ou les données spatiales est un plus.

Le poste est ouvert uniquement aux candidats autorisés à travailler en France.

Qui sommes-nous ?

ALTRION est une international IT Company basée à Paris qui propose des consultant métiers Et IT dans toute.

Nous travaillons avec des grands comptes internationaux dans les secteurs industriels, Défense, Banque, Assurance et LifeScience.

Nos clients nous reconnaissent pour notre savoir-faire et volonté en matière de fiabilité et sympathie. Nos consultants sont également reconnus dans la software industrie.

Notre expertise IT est focalisée sur la data et les systèmes d'information (architecture, Cyber sécurité, Développements, Infra, Virtualisation.

Plus qu'un recrutement pour une mission il s'agit d'un véritable projet professionnel construit en 3 axes (Technique/Fonctionnel, Managerial et Revenue)

Nos interventions sont en environnement international l'anglais est donc requis.

Retrouvez toutes nos offres sur notre site web www.altrion.world et sur France Travail.

Qui êtes-vous ?

Vous êtes fait pour la prestation de services, vous aimez avoir toujours 1 ou 2 métros d'avance sur votre client. Vous aimez être à la pointe des nouvelles solutions et voyez très vite son intérêt d'un point de vue métier car l'informatique reste une solution au service des humains.

• Python
• Anglais
• Jira
• Autonomie
• PostgreSQL
• Git
• Power BI
• Contrôle qualité
• SQL
• Gestion des incidents