Sofiane Khima

Au sein de Société Générale Assurance, j’ai contribué à l’évolution du système décisionnel en enrichissant le Datawarehouse via Informatica PowerCenter et en industrialisant l’ingestion des données hétérogènes dans le Datalake grâce aux technologies Big Data, assurant ainsi une meilleure exploitation des données pour les équipes métiers.

Objectifs et réalisations :

Analyse des spécifications fonctionnelles et la rédaction des documents techniques.

Développements et/ou optimisation des traitements (mappings/workflows) via Informatica PWC.

Développer et/ou optimiser des pipelines de données avec PySpark pour traitement ETL.

Optimisation des performances Spark et reqêtes Sql avec Spark Sql.

Développer et/ou optimiser des traitements ELT via Hive-ql.

Scripting en Python et Shell pour automatiser et enrichir les traitements de données en complément des flux ETL.

Orchestration de workflows de traitement de données avec Apache Oozie pour automatiser les pipelines Hadoop.

Planification quotidienne de jobs avec Oozie Coordinators.

Suivi des logs d'exécution et debugging des erreurs Oozie via l'interface web HUE.

Création/Modification des univers et des rapports sous BO.

Réalisation des tests de validation.

Utilisation de GIT et outils CI/CD pour suivi de versions et déploiement.

Suivi des différentes livraisons.

Scheduling via Control-m.

Suivi de la production et gestion des incidents.

POC & Innovation

Étude de migration de Informatica PWC vers IICS/IDMC avec conception et déploiement d’un POC.

POC de migration on-premise vers AWS avec traitement des données via Spark (Python).

Environnement technique :

Systèmes : Windows/ Linux

SGBD : Oracle 12C, Sql Server

Langages : SQL, Shell, Python

Outils : Hadoop(Hdfs, Hive, Oozie), Spark, Informatica 10.4, SQL Developer, SAP BO, Mobaxterm, Dbeaver, Hue, GitLab, Nexus, IAbench, Jira, Control-m, Kibana, Grafana, AWS( Amazon S3, Amazon RDS, Amazon Glue, Amazon EMR )

Dans un environnement Big Data basé sur Hadoop, l'objectif principal de cette mission était de valoriser les données collectées en concevant des traitements ETL performants. Ces traitements ont permis la construction d’un DataMart clients, destiné à être exploité par l’équipe Reporting.

Objectifs et réalisations :

Analyse des spécifications fonctionnelles et la rédaction des documents techniques.

Développement et maintenance de jobs Spark (Scala, PySpark) pour ingérer des volumes massifs de données dans HDFS.

Développement de workflows/mappings pour concevoir le Datamart en utilisant l’ETL Informatica PWC.

Développement de scripts Hive-QL dans le cas où ces derniers sont plus performants que les workflows Informatica.

Scripting en Python et Shell pour automatiser et enrichir les traitements de données en complément des flux ETL.

Optimisation des jobs Spark et workflows Informatica pour améliorer la performance d’exécution.

Homologation des données ingérées et transformées pour garantir leur qualité et leur conformité avec les besoins métier.

Utilisation de GIT et outils CI/CD pour suivi de versions et déploiement

Suivi des des différentes livraisons(Recette/Production)

Scheduling des jobs et workflows via Control-m

Suivi des jobs et workflows, détection de bugs et traitement des anomalies.

Stack technique utilisée :

Systèmes : Windows/ Linux

Big Data & ETL : Hadoop, Spark (Scala, PySpark), Informatica

SGBD : ORACLE 12C, HDFS (HiveQL)

Langages : SQL, T-SQL, PYTHON, SCALA, SHELL

Outils : SQL Developer, Putty, Dbvisualizer, SVN, Ambari, Git, Jenkins, Control-m, Jira

Méthodologies : Agile (Scrum, Kanban)

Projet :

Migration du Data Warehouse de Oracle Exadata vers EMC GreenPlum

Missions :

- Migration des jobs développés sur BODI (Business Object Data Integration) vers Informatica PowerCenter

- Développement de mappings et des workflows en se basant sur le mapping document

- Développement de scripts Shell pour la manipulation et le traitement des fichiers (fichiers sources, fichiers de paramètres)

- Développement de scripts SQL dans le cas où ces derniers sont plus performants que des jobs Informatica

- Test et validation du développement avant la mise en production

- Monitoring des différents workflows et batchs permettant le chargement des ODS et DWH

- Optimisation des workflows existants en collaborant avec l’équipe DBA

- Communication de la faisabilité technique après la réception des nouvelles SPECS ou des MAJ

Environnement technique :

Systèmes : Windows 7, UNIX AIX 7.1

SGBD : Oracle, GreenPlum

Langages : SQL, PL/SQL, Shell Unix

Outils : Informatica Power Center 9.6.1, Putty, SQL Developer