MOC DP-203 – Data Engineering on Microsoft Azure
Descrizione corso
In questo corso Microsoft, DP-203 – Data Engineering on Microsoft Azure, Ilo studente apprenderà i concetti dell’ingegneria dei dati nell’ambito dell’uso di soluzioni di analisi in batch e in tempo reale usando le tecnologie della piattaforma dati di Azure. Gli studenti inizieranno conoscendo le tecnologie di calcolo e archiviazione di base usate per creare una soluzione analitica e impareranno a esplorare in modo interattivo i dati archiviati nei file in un data lake. Apprenderanno le varie tecniche di inserimento che possono essere usate per caricare i dati usando la funzionalità Apache Spark disponibile in Azure Synapse Analytics o Azure Databricks o come eseguire l’inserimento con Azure Data Factory o pipeline di Azure Synapse. Gli studenti apprenderanno anche i vari modi in cui possono trasformare i dati usando le stesse tecnologie usate per l’inserimento. Comprenderanno l’importanza di implementare la sicurezza per garantire che i dati siano protetti sia nello stato inattivo che in transito. Lo studente mostrerà quindi come creare un sistema analitico in tempo reale per creare soluzioni analitiche in tempo reale.
Questo corso aiuta gli studenti a prepararsi per l’esame di certificazione DP-203: Data Engineering on Microsoft Azure.
Module 1: Explore compute and storage options for data engineering workloads
- Introduction to Azure Synapse Analytics
- Describe Azure Databricks
- Introduction to Azure Data Lake storage
- Describe Delta Lake architecture
- Work with data streams by using Azure Stream Analytics
Module 2: Design and implement the serving layer
- Design a multidimensional schema to optimize analytical workloads
- Code-free transformation at scale with Azure Data Factory
- Populate slowly changing dimensions in Azure Synapse Analytics pipelines
Module 3: Data engineering considerations for source files
- Design a Modern Data Warehouse using Azure Synapse Analytics
- Secure a data warehouse in Azure Synapse Analytics
Module 4: Run interactive queries using Azure Synapse Analytics serverless SQL pool
- Explore Azure Synapse serverless SQL pools capabilities
- Query data in the lake using Azure Synapse serverless SQL pools
- Create metadata objects in Azure Synapse serverless SQL pools
- Secure data and manage users in Azure Synapse serverless SQL pools
Module 5: Explore, transform, and load data into the Data Warehouse using Apache Spark
- Understand big data engineering with Apache Spark in Azure Synapse Analytics
- Ingest data with Apache Spark notebooks in Azure Synapse Analytics
- Transform data with DataFrames in Apache Spark Pools in Azure Synapse Analytics
- Integrate SQL and Apache Spark pools in Azure Synapse Analytics
Module 6: Data exploration and transformation in Azure Databricks
- Describe Azure Databricks
- Read and write data in Azure Databricks
- Work with DataFrames in Azure Databricks
- Work with DataFrames advanced methods in Azure Databricks
Module 7: Ingest and load data into the data warehouse
- Use data loading best practices in Azure Synapse Analytics
- Petabyte-scale ingestion with Azure Data Factory
Module 8: Transform data with Azure Data Factory or Azure Synapse Pipelines
- Data integration with Azure Data Factory or Azure Synapse Pipelines
Module 9: Orchestrate data movement and transformation in Azure Synapse Pipelines
- Orchestrate data movement and transformation in Azure Data Factory
Module 10: Optimize query performance with dedicated SQL pools in Azure Synapse
- Optimize data warehouse query performance in Azure Synapse Analytics
- Understand data warehouse developer features of Azure Synapse Analytics
Module 11: Analyze and Optimize Data Warehouse Storage
- Analyze and optimize data warehouse storage in Azure Synapse Analytics
Module 12: Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link
- Design hybrid transactional and analytical processing using Azure Synapse Analytics
- Configure Azure Synapse Link with Azure Cosmos DB
- Query Azure Cosmos DB with Apache Spark pools
- Query Azure Cosmos DB with serverless SQL pools
Module 13: End-to-end security with Azure Synapse Analytics
- Secure a data warehouse in Azure Synapse Analytics
- Configure and manage secrets in Azure Key Vault
- Implement compliance controls for sensitive data
Module 14: Real-time Stream Processing with Stream Analytics
- Enable reliable messaging for Big Data applications using Azure Event Hubs
- Work with data streams by using Azure Stream Analytics
- Ingest data streams with Azure Stream Analytics
Module 15: Create a Stream Processing Solution with Event Hubs and Azure Databricks
- Process streaming data with Azure Databricks structured streaming
Module 16: Build reports using Power BI integration with Azure Synpase Analytics
- Create reports with Power BI using its integration with Azure Synapse Analytics
Module 17: Perform Integrated Machine Learning Processes in Azure Synapse Analytics
- Use the integrated machine learning process in Azure Synapse Analytics
Per partecipare con profitto a questo corso gli allievi dovrebbero aver partecipato ai seguenti corsi oppure possedere competenze equivalenti:
Al termine del corso MOC DP-203 – Data Engineering on Microsoft Azure gli allievi saranno in grado di:
- Esplorare le opzioni di calcolo e archiviazione per i carichi di lavoro di ingegneria dei dati in Azure
- Eseguire query interattive usando pool SQL serverless
- Eseguire l’esplorazione e la trasformazione dei dati in Azure Databricks
- Esplorare, trasformare e caricare dati nel data warehouse usando Apache Spark
- Inserire e caricare dati nel data warehouse
- Trasformare i dati con Azure Data Factory o pipeline di Azure Synapse
- Integrare dati dai notebook con Azure Data Factory o pipeline di Azure Synapse
- Supporto dell’elaborazione analitica transazionale ibrida con Collegamento a Synapse di Azure
- Eseguire la sicurezza end-to-end con Azure Synapse Analytics
- Eseguire l’elaborazione dei flussi in tempo reale con Analisi di flusso
- Creare una soluzione di elaborazione dei flussi con Hub eventi e Azure Databricks
Lingua utilizzata nel corso/dal docente: Italiano
Il materiale didattico e l’ambiente di laboratorio sono in lingua Inglese
Il corso DP-203 – Data Engineering on Microsoft Azure include:
- un manuale ufficiale Microsoft Learning (in lingua inglese) accessibile online, di durata illimitata;
- un ambiente di Laboratorio con macchine virtuali accessibili online per 180 giorni dalla data del corso;
- un voucher per iscriversi all’esame di certificazione (valore 165 euro);
- un attestato di frequenza inviato via e-mail una settimana dopo il termine del corso.
Ed inoltre, se disponibile, un Kit di Simulazione d’Esame (Practice Test), accessibile per 180 giorni sul sito measureup.com, del valore di 89 Euro.
(da attivare entro tre mesi dal corso)