IA et données en entreprise
Ingénierie des données avec Databricks Lakehouse
Cette formation approfondie développe des compétences directement applicables en Ingénierie des données avec Databricks Lakehouse. Le programme relie Lakehouse Architecture et contrôle de l’espace de travail, Ingestion avec Auto Loader et Delta Lake et Pipelines de transformation aux décisions, contrôles et activités que les participants doivent maîtriser dans leur environnement professionnel.
Aperçu
Un apprentissage pratique pour le transfert en situation de travail.
Cette formation approfondie développe des compétences directement applicables en Ingénierie des données avec Databricks Lakehouse. Le programme relie Lakehouse Architecture et contrôle de l’espace de travail, Ingestion avec Auto Loader et Delta Lake et Pipelines de transformation aux décisions, contrôles et activités que les participants doivent maîtriser dans leur environnement professionnel. Les cinq modules suivent une progression cohérente vers Lakehouse Atelier sur les pipelines, avec des éléments de preuve, des scénarios et des résultats de travail adaptés à la matière.
Objectifs
- Analyser lakehouse architecture et contrôle de l’espace de travail, notamment unity catalog, métastores, catalogues, schémas et stockage géré.
- Configurer ou structurer ingestion avec auto loader et delta lake, notamment découverte de cloudfiles, inférence de schéma et données sauvées.
- Évaluer pipelines de transformation, notamment spark transformations dataframe et flux de travail sql.
- Maîtriser opérations d’orchestration et de production, notamment databricks workflows jobs, tâches, paramètres et notifications.
- Mettre en pratique lakehouse atelier sur les pipelines, notamment concevoir des tableaux en bronze, argent et or pour un ensemble de données métier.
Public cible
- Professionnels responsables de ce domaine
- Managers, superviseurs et chefs d’équipe
- Analystes, spécialistes, ingénieurs ou coordinateurs travaillant sur les processus concernés
- Membres d’équipes projet, mise en œuvre, assurance ou amélioration
- Professionnels se préparant à des responsabilités élargies dans ce domaine
Programme
Une structure claire pour le parcours d'apprentissage.
Programme
Les points du programme sont regroupés dans un seul bloc au lieu de créer un module par ligne.
Module 1 : Lakehouse Architecture et contrôle de l’espace de travail
Unity Catalog, métastores, catalogues, schémas et stockage géré
Politiques de calcul, options serverless et limites d’espace de travail
Medallion architecture et propriété des produits de données
Module 2 : Ingestion avec Auto Loader et Delta Lake
Découverte de CloudFiles, inférence de schéma et données sauvées
Journal des transactions Delta, application des schémas et voyage dans le temps
Choix de conception des ingestion par lots et en streaming
Module 3 : Pipelines de transformation
Spark Transformations DataFrame et flux de travail SQL
Delta Live Tables attentes et dépendances du pipeline
Traitement incrémental, flux de données de changement et motifs de fusion
Module 4 : Opérations d’orchestration et de production
Databricks Workflows jobs, tâches, paramètres et notifications
Dimensionnement de cluster, photon, partitionnement et contrôles de coûts
Surveillance des échecs de course, de la qualité des données, de la lignée et de la récupération
Module 5 : Lakehouse Atelier sur les pipelines
Concevoir des tableaux en bronze, argent et or pour un ensemble de données métier
Configurez les règles de qualité et une charge incrémentale
Examiner les preuves de performance et les contrôles de préparation à la production
Supports fournis
- ○ Supports de présentation propres à la formation
- ○ Exercices guidés, scénarios ou activités en environnement configuré adaptés au sujet
- ○ Fiches, check-lists ou modèles de calcul propres à la formation
- ○ Supports de cas appliqués au milieu professionnel
- ○ Certificat de participation délivré par 4D Training & Consultancy
- ○ Support après formation pour les questions de mise en œuvre
Options de formation
Les programmes peuvent être organisés en entreprise, en ligne ou dans un format hybride selon le calendrier, la localisation et les objectifs de vos équipes. Lorsqu'un certificat ou un examen externe est inclus, les règles et frais de certification restent soumis aux politiques de l'organisme certificateur, tandis que 4D assure la formation et l'accompagnement à la préparation.
Pourquoi choisir 4D
4D Training & Consultancy adapte le programme à l’environnement opérationnel du client. La formation associe explications structurées, analyses propres au sujet, exercices et décisions de mise en œuvre afin de faciliter le transfert vers les responsabilités réelles, sans laisser entendre une autorisation du fournisseur.
Formations liées
Agents IA et automatisation des workflows opérationnels
Cette formation aide les équipes métiers et opérationnelles à comprendre comment les agents IA et l’automatisation des workflows peuvent réduire les tâches répétitives, améliorer les passages de relais et accélérer l’exécution. Les participants apprennent à cartographier les processus, identifier les opportunités d’automatisation, concevoir des contrôles avec validation humaine et gérer les risques avant le déploiement.
View courseAmélioration des processus et automatisation par l’IA
Cette formation aide les équipes métiers et opérationnelles à identifier où l’IA et l’automatisation peuvent réduire les tâches répétitives, améliorer les transferts, renforcer la visibilité des processus et soutenir une meilleure exécution. Les participants apprennent à cartographier les workflows, évaluer les opportunités d’automatisation, définir les points de validation humaine et construire des plans d’amélioration pratiques.
View courseAnalyse de données et reporting par tableaux de bord
Cette formation aide les équipes métiers à transformer les données brutes en informations utiles, rapports de management, tableaux de bord et supports visuels d’aide à la décision. Les participants apprennent à définir des KPI, préparer et interpréter les données, choisir les bons graphiques, structurer des tableaux de bord et communiquer clairement les conclusions.
View course