Perform incremental processing with spark structured streaming

• Set up real-time data sources for incremental processing
• Optimize Delta Lake for incremental processing in Azure Databricks
• Handle late data and out-of-order events in incremental processing
• Monitoring and performance tuning strategies for incremental processing in Azure Databricks
• Exercise – Real-time ingestion and processing with Delta Live Tables with Azure Databricks

Implement streaming architecture patterns with Delta Live Tables

• Event driven architectures with Delta Live tables
• Ingest data with structured streaming
• Maintain data consistency and reliability with structured streaming
• Scale streaming workloads with Delta Live tablesV
• Exercise – end-to-end streaming pipeline with Delta Live tables

Optimize performance with Spark and Delta Live Tables

• Optimize performance with Spark and Delta Live Tables
• Perform cost-based optimization and query tuning
• Use change data capture (CDC)
• Use enhanced autoscaling
• Implement observability and data quality metrics
• Exercise – optimize data pipelines for better performance in Azure Databricks

Implement CI/CD workflows in Azure Databricks

• Implement version control and Git integration
• Perform unit testing and integration testing
• Manage and configure your environment
• Implement rollback and roll-forward strategies
• Exercise – Implement CI/CD workflows

Automate workloads with Azure Databricks Jobs

• Implement job scheduling and automation
• Optimize workflows with parameters
• Handle dependency management
• Implement error handling and retry mechanisms
• Explore best practices and guidelines
• Exercise – Automate data ingestion and processing

Manage data privacy and governance with Azure Databricks

• Implement data encryption techniques in Azure Databricks
• Manage access controls in Azure Databricks
• Implement data masking and anonymization in Azure Databricks
• Use compliance frameworks and secure data sharing in Azure Databricks
• Use data lineage and metadata management
• Implement governance automation in Azure Databricks
• Exercise – Practice the implementation of Unity Catalog

Use SQL Warehouses in Azure Databricks

• Get started with SQL Warehouses
• Create databases and tables
• Create queries and dashboards
• Exercise – Use a SQL Warehouse in Azure Databricks

Al termine di questo corso DP-3027 – Implement a data engineering solution with Azure Databricks gli allievi avranno compreso:

• le diverse funzionalità e strumenti per comprendere e lavorare con l’elaborazione incrementale con spark structured streaming
• le diverse funzionalità e strumenti che aiutano a sviluppare modelli di architettura con Azure Databricks Delta Live Tables
• come ottimizzare le prestazioni con Spark e Delta Live Tables in Azure Databricks
• come implementare i flussi di lavoro CI/CD in Azure Databricks per automatizzare l’integrazione e la consegna delle modifiche al codice
• come orchestrare e pianificare i flussi di lavoro dei dati con Azure Databricks Jobs
• le diverse funzionalità e approcci per aiutarvi a proteggere e gestire i vostri dati all’interno di Azure Databricks utilizzando strumenti come Unity Catalog
• come automatizzare i processi di ingegneria dei dati su scala cloud.

Lingua utilizzata nel corso/dal docente: Italiano
Il materiale didattico è in lingua Inglese

Il corso include:

• documentazione didattica accessibile via web, di durata illimitata;
• un attestato di frequenza inviato via e-mail una settimana dopo il termine del corso.