Description

Lead Data Engineer avec plus de 6 ans d’expérience dans la conception et la mise en œuvre de plateformes data sur AWS et Databricks. Titulaire d’un Master en Data Science & Big Data de l’Université Paris-Est Créteil, j'interviens sur des sujets de gouvernance, migration de données, architecture cloud et industrialisation des traitements Big Data. Je possède une forte expertise sur Databricks, AWS et les architectures data modernes.

Lead Data Engineer – Expert Databricks - Devops AWS
Certifié Databricks Data Engineer Professional et GenAI
J’accompagne les entreprises dans la conception, la migration et l’industrialisation de plateformes data performantes et scalables.
J’interviens de bout en bout : infrastructure cloud, pipelines data (Bronze / Silver / Gold), CI/CD, gouvernance Databricks et mise en production.
Habitué aux environnements complexes et critiques, je transforme des architectures data legacy ou cloud en plateformes fiables, sécurisées et orientées usage métier.
Stack : Databricks, AWS, Spark / PySpark, Terraform, CI/CD, GitLab, Datadog, Hadoop, Hive, Python.

Langues

Français
Bilingue ou natif
Anglais
Capacité professionnelle complète

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 50 km)

ENGIE
LEAD DATA | EXPERT DATABRICKS
ENERGIE
mars 2025 - Aujourd'hui (1 an et 3 mois)
La Garenne-Colombes, France
Projet : Migration de la plateforme Data B2C vers Databricks Unity Catalog dans un environnement AWS.

Accompagnement des Feature Teams dans la migration des données depuis le Common Data Hub (CDH) vers Unity Catalog
Migration progressive des données stockées sur S3 vers Unity Catalog en mode External afin de garantir la compatibilité avec les jobs existants
Mise en place de l’architecture Médaillon (Bronze, Silver, Gold) sur Databricks
Création des catalogues, schémas, volumes et assets de gouvernance dans Unity Catalog
Configuration des Storage Credentials et External Locations avec des rôles IAM dédiés
Animation d’ateliers techniques avec les Feature Teams pour structurer les données et définir les stratégies de migration
Définition des groupes et gestion des habilitations utilisateurs selon les rôles métiers
Gestion des permissions et sécurisation des accès aux catalogues, schémas et tables
Accompagnement des équipes dans la migration des jobs vers Unity Catalog (lecture/écriture via tables managées)
Configuration des clusters Databricks compatibles Unity Catalog
Mise en place des pipelines d’ingestion depuis des sources externes telles que Salesforce
Création des Service Principals pour l’exécution sécurisée des jobs et pipelines
Migration des tables External vers des tables Managed
Développement d’applications Databricks pour faciliter la gestion et la saisie des données par les métiers
Mise en place de jobs de monitoring technique pour superviser les traitements et la consommation des ressources
Mise en place de skills Databricks avec Genie Code afin d’industrialiser la migration des jobs vers le mode Serverless (analyse d’éligibilité, migration automatisée et validation)
Création de dashboards de supervision pour le suivi des assets et la détection des dérives de configuration
Contribution à l’amélioration de la gouvernance, de la traçabilité et de la sécurisation des accès aux données
Databricks AWS IA générative PySpark Monitoring
RATP
Data Engineer | DevOps AWS - Databricks
TRANSPORTS
novembre 2022 - janvier 2025 (2 ans et 2 mois)
Paris, France
Projet : Mise en place des infrastructures et livraison des principales briques techniques nécessaires au fonctionnement d’un cas d’usage dans un environnement cloud

Build de l’infrastructure sur la plateforme data
Provisionnement des ressources des cas d’usage dans databricks et AWS via Terraform
Mise en place des pipelines CI/CD pour le déploiement d’infra
Attribution et gestion des habilitations via les groupes dans databricks
Assurer le maintien en conditions opérationnelles et l'évolution de l’infrastructure
Migration des données depuis le OnPrem vers la zone de landing sur S3
Ingestion des données depuis la landing zone vers les différents coffres data (bronze, silver, gold) dans les
catalogues databricks
Supervision des jobs d’ingestion à travers les dashboards DataDog
Résolution des incidents d’infra et pipelines
MCO plateforme On Prem
Traitement des demandes ponctuelles concernant l’ajout d’users, d’espace hdfs
Terraform Databricks AWS Spark Gitlab CI/CD
URSSAF/ ACOSS
Big Data Engineer / DevOps
SECTEUR PUBLIC & COLLECTIVITÉS
septembre 2021 - novembre 2022 (1 an et 2 mois)
Paris, France
Projet : Migration du projet DPAE (déclaration préalable à l’embauche) vers le Big Data.

Développement de jobs Spark (Python) pour l’imputation des valeurs manquantes par type contrat, durée cdd, sexe et âge.
Développement de jobs Spark (Python) pour la création d’une table synthèse des déclarations préalable à l’embauche
depuis 2000.
Développement de jobs Spark (Python) de contrôle de doublons et de calcul taux retard et correction retardataire.
Développement de Jobs d’import Sqoop depuis Oracle.
Stockage des données sous format orc sur HDFS
Développement de scripts Hql pour les tables Hive (formats Orc, Parquet)
Suivi des lancements de traitements et analyse des logs avec le Ressource Manager.
Réalisation des tests unitaires et d’intégrations.
Ordonnancement des chaînes avec Oozie.
Support utilisateurs SAS sur tous l’environnement Big Data
HDFS Hive CI/CD PySpark SQL