Data Engineering sur Azure (Data Factory, Databricks, Synapse)
À l'heure où la donnée est devenue le moteur de la compétitivité des entreprises, maîtriser les outils qui permettent de la collecter, la transformer et l'exploiter à grande échelle est un atout décisif.
Cette formation vous plonge au cœur de l'écosystème data d'Azure, en vous formant aux trois piliers du Data Engineering Cloud :
- Azure Data Factory pour l'orchestration et l'intégration des pipelines,
- Azure Databricks pour le traitement distribué et la transformation des données à l'échelle,
- Azure Synapse Analytics pour l'analyse et la valorisation de vos données en entrepôt.
À travers des mises en situation concrètes et des travaux pratiques, vous serez en mesure de concevoir des architectures de données robustes, sécurisées et performantes, prêtes pour les enjeux de demain.
Durée de la formation
Début de la formation
Objectifs de la formation
À l’issue de cette formation, les participants seront capables de :
- Situer les rôles et responsabilités du Data Engineer dans un projet Big Data/Cloud
- Construire des pipelines d’intégration avec Data Factory
- Déployer et exécuter des traitements distribués avec Databricks
- Interroger et analyser de larges volumes de données avec Synapse
- Concevoir une architecture data moderne sur Azure combinant les trois services
- Appliquer les bonnes pratiques de sécurité, gouvernance et monitoring des données
Public de la formation
Cette formation s'adresse à différents profils...
Profils techniques
- Développeurs souhaitant évoluer vers la data
- Ingénieurs data / Data Engineers en poste cherchant à se certifier sur Azure
- Architectes solutions travaillant sur des projets cloud
Profils analytiques
- Data Analysts souhaitant monter en compétences sur les pipelines de données
- Business Intelligence Developers travaillant déjà avec des entrepôts de données
Profils décisionnels (pour une sensibilisation)
- DSI et responsables IT devant piloter des projets de modernisation data
- Data Managers ou Chief Data Officers supervisant une stratégie data
Prérequis pour la formation
- Connaissances de base en bases de données (SQL)
- Notions en Cloud ou en manipulation de données (Excel, ETL, BI)
Programme
de la formation
- Introduction & Data Factory
- Introduction au Data Engineering et à l’écosystème Azure
- Présentation de Data Factory
- Création et exécution de pipelines
- Gestion des connecteurs et sources de données
- Automatisation, planification et monitoring des flux
- Azure Databricks
- Introduction à Spark et Databricks
- Utilisation des notebooks (Python/SQL)
- Nettoyage et transformation des données massives
- Collaboration et versioning dans Databricks
- Intégration avec Data Factory
- Azure Synapse & Mise en perspective
- Concepts de Data Warehouse moderne
- Création et interrogation de tables dans Synapse
- Requêtes analytiques à grande échelle
- Connexion Synapse ? Power BI
- Architecture intégrée Data Factory + Databricks + Synapse
- Gouvernance, sécurité et bonnes pratiques
- Les exercices proposés visent à illustrer les concepts à travers des mises en situation :
- Exercices d’ingestion et d’orchestration : création d’un pipeline Data Factory pour charger des données brutes (ex. fichiers CSV)
- Exercices de transformation : nettoyage et enrichissement d’un dataset dans un notebook Databricks avec production d’une table Delta
- Exercices d’analytique : chargement et interrogation des données dans Synapse (requêtes distribuées, vues)
- Exercice récapitulatif “mini-projet bout-à-bout” : conception d’un flux complet combinant Data Factory, Databricks et Synapse, incluant gouvernance de base et supervision
Personne de contact
Formateur :
La société CogniTIC est active dans les domaines de la consultance, du développement et de la formation en systèmes d’information.
Tous les collaborateurs de CogniTIC mettent à profit leur expérience en tant que développeur, architecte logiciel, analyste métier, responsable qualité ou chef de projet pour proposer des formations méthodologiques et technologiques en fonction des besoins des entreprises et des réalités du marché.
