Data Engineer Expérimenté - Senior - Lyon - Ferme H/F - collectivite

Information importanteType de contrat: FreelanceTaux journalier : TJM 470 EUR/jourDate de démarrage :UrgentMode de travail : HybridePublié le : 15 juillet 2026Le besoinCONTEXTE Mission de Data Engineering au sein d'un grand compte du secteur Transport ferroviaire, basée à Lyon en mode hybride. Le périmètre technique couvre la conception et l'exploitation de pipelines de données, avec un environnement s'appuyant sur Python, Spark, Scala et des outils de CI/CD. La mission s'inscrit dans un cadre projet Agile/Scrum avec outillage Jenkins, Datadog et Jira. MISSIONS PRINCIPALES - Concevoir et développer des pipelines de traitement de données en Python et Spark - Implémenter et maintenir des traitements distribués en Scala sur environnement Spark - Mettre en place et maintenir les pipelines CI/CD via Jenkins - Développer des interfaces de visualisation et de restitution de données avec Streamlit - Assurer la supervision et le monitoring des flux de données via Datadog - Participer aux cérémonies Agile/Scrum et contribuer au suivi des tâches dans Jira - Analyser et qualifier les anomalies détectées sur les pipelines de données - Documenter les architectures de données et les processus de traitement mis en oeuvre COMPETENCES REQUISES - Python (développement de pipelines de traitement de données) - Apache Spark (traitement distribué de données à grande échelle) - Scala (développement de jobs Spark) - Jenkins (mise en place et maintenance de pipelines CI/CD) - Streamlit (développement d'interfaces de visualisation de données) - Datadog (supervision et monitoring des flux de données) - Jira (suivi de projet et gestion des tâches en contexte Agile) - Scrum (participation aux cérémonies et rituels Agile) COMPETENCES SOUHAITEES - Kafka ou autre broker de messages (streaming de données) - Docker / Kubernetes (conteneurisation et orchestration) - SQL avancé (requêtes complexes et validation de données) - Airflow (orchestration de workflows de données) - Tests unitaires et automatisation (pytest, couverture de code) - Expérience sectorielle Transport ou Industrie - Anglais technique (lecture de documentation, échanges avec équipes) PROFIL RECHERCHE Data Engineer confirmé avec minimum 7 ans d'expérience en ingénierie de données, maîtrisant Python, Spark et Scala dans un contexte de traitement distribué. Une expérience sur des environnements CI/CD (Jenkins) et de monitoring (Datadog) est attendue, idéalement dans un secteur industriel ou de transport. Autonomie, rigueur dans la gestion des pipelines de données et capacité à s'intégrer dans une équipe Agile sont indispensables.Profil recherchéData Engineer confirmé avec minimum 5 ans d'expérience en ingénierie de données, maîtrisant Python, Spark et Scala dans un contexte de traitement distribué. Une expérience sur des environnements CI/CD (Jenkins) et de monitoring (Datadog) est attendue, idéalement dans un secteur industriel ou de transport. Autonomie, rigueur dans la gestion des pipelines de données et capacité à s'intégrer dans une équipe Agile sont indispensables.

• Docker
• Gestion des données
• Test unitaire
• Python
• Jira
• Autonomie
• Kubernetes
• Jenkins
• Monitoring
• Scrum
• Scala
• SQL
• Anglais technique
• KAFKA