You're seeing this page as if you were . The main menu is still yours, though. Exit from immersion
Maxime GillotMG

Maxime Gillot

Data Engineer - Spark, Kafka, AWS

600 €/jour
Nantes, FR
3-7 ans

Délai de réponse moyen : 1h

À propos de Maxime

Vous trouverez mes disponibilités sur mon site internet :
🚀 Passionné de données et d'ingénierie, je suis un Data Engineer, Expert Spark avec une solide expérience dans le domaine. Je suis également formateur à mes temps perdu, principalement sur Kafka. J'interviens en distanciel ou en différé via la plateforme de e-learning Udemy.

🔧 Mes compétences techniques incluent une maîtrise approfondie de Spark, Scala et Java, ainsi que des connaissances en environnements AWS (S3, EMR, Athena, RDS), bases de données (MySQL, PostgreSQL, Teradata, Hbase, Hive, MSSQL, MongoDB), Kafka, Oozie, Linux, Jenkins, GitLab CI/CD, Airflow, Sharepoint et bien plus encore. Je suis familier avec les méthodologies agiles telles que Scrum et Kanban, et je m'efforce constamment de rester à jour avec les dernières technologies et tendances de l'ingénierie des données.

🔍 Si vous recherchez un professionnel polyvalent, passionné par les défis techniques et doté d'une solide expérience en ingénierie des données, n'hésitez pas à me contacter. Je suis toujours ouvert aux opportunités de collaboration et de partage d'expertise dans le domaine passionnant de la data
  • Anglais

    Capacité professionnelle complète

  • Chinois

    Notions

  • Français

    Bilingue ou natif

Accepte de travailler sur site
Nantes (jusqu’à 50 km)

Expériences

  • Credit Agricole Technologies et Services
    Data Engineer, Expert technique Spark
    BANQUE & ASSURANCES
    janvier 2023 - février 2024 (1 an et 2 mois)
    Nantes, France
    -> Au sein de l'équipe Socle Data: Conception, Développement, Tester, Déployer et assurer le RUN et le support du facilitateur Spark interne à CA-TS
    • Spark
    • Java
    • Yarn
    • BDD divers : MySQL, PostgreSQL, Teradata, Hbase, Hive, MSSQL, Mongo ...
    • Kafka
    • Api Rest

    -> Support build, run, architecture et conception aux différentes équipes de CA-TS (sur l'outil et sur la plateforme big data)
    -> Ordonnancement : Oozie, création de workflow
    -> Optimisation job Spark.
    -> Rédaction de la documentation technique, script xWiki.
    -> Formation, monter en compétences et bonne pratiques des différents collaborateurs sur la plateforme big-data.
    -> Améliorer la stabilité, l'évolutivité et les performances des projets Data

    Envir. Technique :
    Cloudera, Spark 2.4.4/3.2.2, Java 8/11, Hadoop, Kafka, Oozie, Linux, jenkins, Gitlab CI/CD, documentation Xwiki, Git, Intellij Méthode agile : Scrum
    Java 11 Spark Streaming Spark SQL Spark Apache Kafka Kafka Streams Hadoop HDFS MongoDB PostgreSQL Git Linux Oozie Cloudera
  • Mymoneybank
    Data Engineer AWS/Big Data
    BANQUE & ASSURANCES
    juillet 2020 - janvier 2023 (2 ans et 6 mois)
    Nantes, France
    -> Au sein de l'équipe Data publishing: Conception, Développement, Tester, Déployer et assurer le RUN de différents flux de données et applications afin de produire des reportings opérationnels.
    • Spark
    • Scala
    • Yarn
    • Postgresql
    • AWS : S3, EMR , Athena, RDS, Glue
    • Excel

    -> Intégration continue : Gitlab CI/CD.
    -> Ordonnancement: Airflow / Python , Création de DAG.
    -> Optimisation job Spark.
    -> Soutient aux différentes équipes Spark: optimisation de job, débug, bonne pratique de développement, tests unitaires.
    -> participation active aux développement des librairies communes MMB.
    -> Création de rapport Excel.
    -> Création de batch JAVA : Java / Spring.
    -> Rédaction de la documentation technique.
    -> Challenger le mapping fonctionelles des données.

    Envir. Technique :
    AWS : S3, Athena, EMR, RDS, System Manager. Spark 2.6/3.1.1, scala/Java 8/11/14/17, gitlab Ci/CD, Kibana, Airflow, Sharepoint, Méthode agile : Scrum/Kanban
    Spark Amazone web services AWS Scala Java AWS EMR Airflow Microsoft Sharepoint
  • SopraSteria
    Data Engineer
    SECTEUR PUBLIC & COLLECTIVITÉS
    mars 2018 - juillet 2020 (2 ans et 4 mois)
    Nantes, France
    Dans le cadre d'un POC (Proof Of Concept) / mise en place d'une filière Big Data à la CNAM :
    -> Concevoir, Développer, Documenter, Tester et mettre en production différents flux pour alimenter un data lake :
    • Spark streaming
    • Batch Spark
    • Kafka - kafka connect, custom SMT / Avro + Schema registry
    • flow nifi, nar custom
    -> Développement dans un environnement sécurisé : Knox, Ranger, Kerberos...
    -> Participations à la configuration des machines Spark, Hadoop, NiFi, YARN...
    -> Mise en place d’un environnement de développement Local (Docker, Git, Hortonworks).
    -> Scripts linux/yarn/hadoop : Lancement, déploiement des applicatifs
    -> Scripts Hive
    -> Création de dashboard Grafana
    -> Intégration continue : Jenkins / Git
    -> Gouvernance de données avec Atlas
    -> Méthodologie agile: SCRUM.


    Envir. Technique :
    écosystème Hortonwork (Hadoop, Hdfs, YARN, Spark, Kafka, Nifi, Zookeeper, Hive, Ambari)
    Avro confluent, Java 8, Linux, Jenkins, Git, Docker, confluent
    Spark Apache Kafka Nifi Hadoop Yarn Hive Grafana

Recommandations

Soyez le premier à recommander Maxime

Contribuez à la réussite de ce freelance en partageant votre expérience de collaboration avec lui.

Ces profils de freelance correspondent également à vos critères

AgathaA

Agatha Frydrych

Backend Java Software Engineer

4.7

(3)

2

BaptisteB

Baptiste Duhen

Fullstack developer

4.6

(4)

5

AmedA

Amed Hamou

Senior Lead Developer

4

(2)

7

AudreyA

Audrey Champion

Web developer

4.3

(3)

4

Formations

  • Master 2 recherche Informatique - intelligence décisionnelle
    Université d'Angers
    2017
    Optimisation combinatoire : Méta-heuristiques , recherche tabou , algorithme génétique , Algorithmes Auto-Adaptatifs, apprentissage par renforcement, Multi-objective optimization, branch and bound , glouton, programmation par contrainte , glpk/glpsol ... Bio-Informatique : utilisation de Méta-heuristiques pour la construction d'arbres phylogénétique machine learning, deep learning , réseaux de neurone, arbre de décision, Réseau bayésien ... Logique : machine de turing, QBF, FNC/FND , forme prenexe et pleins d'autres ... Fouille de Données Bases de Données Avancées Ingénierie de l'Optimisation Modèles et Outils Avancés de Programmation Systèmes à Base de Connaissances et Interaction Représentation des Connaissances et Raisonnements Traitement de la Langue et Recherche Documentaire

Certifications

Compétences

Catégories