Amadou DIA
À propos du candidat
Location
Education
Travail & Expérience
. Mise en place de pipelines de données collecte, transformation et d’exposition sur Athéna avec Pyspark. • Configuration du pipeline CI/CD avec Jenkins. • Mise en place de la stratégie de test unitaire avec Pytest. • Orchestration des jobs avec Airflow. • Mesurer la Qualimétrie du code et taux de couverture des tests avec SonarQube. • Déployer les configurations Glue avec Terraform. Technologies : Pyspark, AWS (S3, Glue, Athena, Airflow, CloudWatch … ), SonarQube, Jenkins, Gitlab, Artifactory, Terraform
• Création de pipelines d’ingestion, de collecte, de transformation et d’extraction. • Configuration des pipelines de déploiement sur un cluster Cloudera via TeamCity. • Participer à l’évolution du cluster Cloudera. • Migration d’applications dans un environnement Cloudera sécurisé. Technologies : Java, Spark, Cloudera, Kafka, Hive, RedHat(Linux), TeamCity, IntelliJ, Maven, Hbase
• Création d’espaces produits sur le cluster HDP (Hortonwoks Data Platform) et CDP (Cloudera Data Platform) avec des playbooks ansible. • Migration de pods openshift vers Kubernetes. • Support des équipes projets sur leurs espaces produits. • Administration du cluster hadoop via ambari, gestion des accès via ranger. • Automatisation des pipelines de déploiement avec Jenkins et ansible. • Création de rôles ansible pour la simplification des flux d’ingestions. • Participation à la mise en place du cluster hadoop kerbérisé avec freeipa. • Mise en place de cluster Jmeter sur Kubernetes et teste de charge Technologies : Hortonworks, Hive, Pig, Spark, Java, YARN, Sqoop, Kafka, RedHat(Linux), Docker, Cloudera, Kubernetes, Grafana, Elasticsearch, Ansible, Git, Jenkins, Java, IntelliJ, Freeipa, Ambari, Kerberos, Artifactory, Maven
• Intégration de données Excel, • Transformation de données, • Chargement de données • Industrialisation. Technologies : Talend Data Integration, Excel.
• Mise en place de l’architecture de la solution • Injection des données dans Kafka • Indexation des données sur Elasticsearch • Traitement des données avec Spark Streaming • Conteneurisation des composants de la solution avec Docker
• Mise en place du Front End. • Reconstitution du Back End. • Effectuer des requêtes sql. • Création d’API Rest. Technologies : JAVA EE, AngularJS, bootstrap, maven, spring boot, git, Eclipse, SQL
