Description

Data Engineer avec +10 ans d'expérience dans la création d'applications robustes, fiables et évolutives, conception et de déploiement de pipelines de données dans un datalake aussi bien on premise que dans le cloud. Excellente connaissances en architecture et de performance, ma polyvalence me permet d'intervenir efficacement et rapidement dans des contextes assez variés.

Actif, autonome ayant un excellent sens de la communication et du travail en

équipe, toujours en quête de nouveaux challenges data afin de répondre aux besoins uniques des différent client.

Domaines d’expertise

Langues

Anglais
Capacité professionnelle complète
Français
Bilingue ou natif

Préférences en matière de lieu de travail

En télétravail uniquement

Travaille majoritairement à distance

Allianz IARD
Senior Data Engineer
BANQUE & ASSURANCES
février 2020 - Aujourd'hui (6 ans et 4 mois)
Puteaux, France
« Couteau suisse » au sein de la BU data, mes rôles sont, d’une part apporter une expertise
rapide sur différents sujets en lien direct avec le responsable Data Engineer (DE), d’autre part,
homme de main technique du manager de l’unité Data Client.

Data Engineering / Data architecture
• Mise en place de pipeline d’ingestion de données dans le datalake: orchestration avec
Luigi, stockage format parquet.
• Support aux DataScientists (DS): débogage et optimisation d’application PySpark
• Proposition et chalenge d’architectures d’ingestion et traitement de données

Exposition / Restitution de la donnée / API
• Export des données vers PostgreSQL/ Kafka (full, delta, upsert)
• Conception et déploiement d’API REST orienté business

DataOps / Cloud Engineer
• Conception et maintenance de template de déploiements d’application (Nomad, AKS)
• Déploiement et maintenance d’un parc de Serveur Jupyter à destination de DS
• Evolution, provisioning et maintenance de l’infra su Azure / GitOps Terraform

Production / Run
• Daily check
• Maintenance applicative, débogage, hot fix.
• Construction de dashboard Grafana pour monitoring

Autres
• Onboarding des nouveaux DE / DS au datalake, configuration de leur outils de travail
• Réalisation de PoC / Tests des nouvelles techs dans le datalake
• Proposition de solutions techniques et développement d’utilitaires afin de faciliter le
travail des collaborateurs
• Migration d‘applications vers Cloud Azure

Exemple de projets
• Know Your Customer RBE: Ingestion des données RBE de l’api INPI afin de déterminer
les Bénéficiaires Effectifs liés aux clients d’Allianz
• Digital Assessment: Dev d’une API Flask pour analyse d’images d’immeuble afin
d’évaluer leur qualité en vue des contrat d’assurance. Application de modèle IA in real
time. (Chalenge temps de réponse)
• Dev d’une appli Kafka / KafkaStream pour calcul en temps réel des KPI de traitement et
de classification d’emails
• Process mining dans Celonis, données acheminée via une pipeline kafka
Data Engineering Kubernetes PySpark Microsoft Azure Java Apache Kafka Docker Github Actions Gitlab CI/CD Prometheus Grafana luigi Helm AKS Big Data
Societe Generale Corporate and Investment Banking
Date Engineer confirmé
BANQUE & ASSURANCES
avril 2018 - février 2020 (1 an et 10 mois)
Colombes, France
Ingestion et traitement de données dans un cluster Hadoop avec Spark et la stack
Hortonworks, exposition quotidienne des données dans une base de données SQL.

Ingestion

• Ingestion des données de transaction financières au format csv, du NAS vers HDFS
• Nettoyage et validation des données (valeurs nulles, recovery, Etc.)
• Stockage dans HDFS, partitionnement

Traitement, consolidation

• Conception et développement d’applications spark pour formatage et transformation de la donnée selon le modèle business
• Développement d'applications Spark pour enrichir des données de finances (Ordre, AUM, Position) en les croisant aux données de références (Fonds, Investisseurs, ...).
Le challenge est de choisir et utiliser les meilleurs API Spark selon les situations.

Exposition / Restitution de la donnée

• Export des données vers des bases de données MS SQL Server en utilisant Sqoop
• Gestion de l'UPSERT

Data pipeline / scheduling

• Conception et développement de workflows d’ingestion et de traitement avec Oozie
• Mise en place de scheduleurs via coordonateurs Oozie

Performances / optimisation de jobs

• Amélioration des perfs d’un job d’ingestion et de validation, temps de traitement réduit de 2h (OOM parfois) à 10 min.
• Optimisation des performances de job d'export de centaines de millions d'enregistrement de Hive vers MS SQL Server.
Le challenge ici est de trouver la configuration optimale du job Sqoop afin qu'il s’exécute dans le meilleur délais possible

• Proposition de solutions afin d'implémenter les contraintes métier
Spark Java Hive Sqoop Oozie SQL Git Scrum Maven
ATOS
Développeur FullStack Java / CLOUD
CONSEIL & AUDIT
mars 2014 - mars 2018 (4 ans)
Issy-les-Moulineaux, France
projet Alien4Cloud, plateforme DevOps de gestion du cycle de vie d’applications.

• Agile (SCRUM), continuous delivery, opensource, TOSCA
• Développeur actif du produit : Back (J2EE, Spring, ElasticSearch) + Front (HTML5,
AngularJS )
• Déploiement sur Clouds (Aws EC2, Openstack, Docker)
• Participation établissement du backlog, proposition et design de fonctionnalités
• Gestion GitHub: pull-requests, Code-review, merge, communication
Java AngularJS Elasticsearch Spring boot Spring MVC Spring Security Git Maven Kubernetes Amazon Web Services Docker