DESIGN D’ARCHITECTURES DATA LAKE / WAREHOUSE / LAKEHOUSE
Version du programme : 1
Type de formation
PrésentielDurée de formation
40 heures (5 jours)Accessibilité
OuiDESIGN D’ARCHITECTURES DATA LAKE / WAREHOUSE / LAKEHOUSE
Dans un contexte où la donnée est devenue un actif stratégique au cœur des décisions et de l’innovation, la capacité d’une entreprise comme ST 2 I SA à gérer, structurer et valoriser efficacement ses données représente un avantage concurrentiel majeur. Les architectures de données modernes Data Lake, Data Warehouse et Lakehouse offrent un cadre robuste pour collecter, stocker et analyser des volumes massifs de données provenant de sources multiples. Cette formation vise à doter les collaborateurs de ST 2 I SA d’une compréhension approfondie de ces architectures, de leurs interactions et des technologies qui les soutiennent.
Objectifs de la formation
- Comprendre les concepts et différences entre Data Warehouse, Data Lake et Lakehouse.
- Identifier les cas d’usage adaptés à chaque type d’architecture.
- Concevoir une architecture de données hybride, scalable et sécurisée.
- Maîtriser les technologies clés : Hadoop, Spark, Delta Lake, Snowflake, BigQuery, etc.
- Définir un modèle de gouvernance, de sécurité et d’intégration des données.
- Réaliser un mini-projet d’architecture Data Lakehouse complet et documenté.
Profil des bénéficiaires
- Data Engineers / Data Architects
- Développeurs Big Data / Analystes BI
- Chefs de projet Data / Responsables SI
- Connaissances de base en bases de données relationnelles et SQL
- Notions de Big Data et de traitement distribué.
- Expérience avec un ETL ou langage de script (Python, Scala, etc.) est un plus.
Contenu de la formation
Module 1 : Fondamentaux et architectures de données
- Évolution des architectures data : Data Warehouse, Data Lake, Lakehouse
- Concepts ETL / ELT, streaming vs batch
- Technologies : Hadoop, Spark, Snowflake, BigQuery
- Étude de cas : analyse des systèmes de données internes à NOVATEC
- Atelier : identification et cartographie des flux de données
Module 2 : Data Lake et stockage distribué
- Stockage distribué : HDFS, S3, Blob, GCS
- Formats optimisés (Parquet, ORC, Avro)
- Organisation logique du Data Lake : raw, refined, curated
- Atelier : création d’une mini-architecture Data Lake sur AWS ou Azure
- Démonstration : ingestion de données brutes vers stockage distribué
Module 3 : Le concept de Lakehouse
- Fusion Data Lake / Data Warehouse
- Technologies : Delta Lake, Iceberg, Hudi
- Architecture bronze-silver-gold et cas d’usage analytiques
- Atelier : conception d’un Lakehouse “Retail Analytics” sur Databricks
- Exercice : comparaison entre architectures batch et streaming
Module 4 : Gouvernance, sécurité et DevOps Data
- Data Catalogues et Data Lineage
- Gestion des rôles, sécurité et IAM
- DataOps et Infrastructure as Code (Terraform, Airflow)
- Atelier : mise en œuvre d’un pipeline ETL automatisé avec Airflow
- Étude de cas : plan de gouvernance des données chez NOVATEC
Module 5 : Projet final et bonnes pratiques
- Conception d’une architecture Data Lakehouse complète
- Optimisation des coûts et performances
- Supervision, SLA et maintenance évolutive
- Projet de synthèse : design et présentation d’un blueprint Data Lakehouse NOVATEC
- Feedback collectif et validation des acquis
Équipe pédagogique
Suivi de l'exécution et évaluation des résultats
- Evaluation / sommative. Continuelle tout au long de la formation à travers les exercices, les interventions, les discussions, les études de cas, les simulations les ateliers, les travaux pratiques.
- Evaluation à chaud : Mesure du niveau de satisfaction de l’apprenant à l’issue de la formation selon des critères précis via la plateforme digitale du cabinet.
- Evaluation à froid : Evaluation 6 mois après la fin de la formation sur le transfert des acquis via notre plateforme digitale
Ressources techniques et pédagogiques
- Cours théoriques interactifs
- Études de cas concrets
- Ateliers
- Test-autodiagnostic
- Supports de formation détaillés
- Plan d’action individuel
Qualité et satisfaction
Capacité d'accueil
Accessibilité
Nos salles de formation sont équipées pour accueillir des personnes à mobilité réduite.