Data Engineering on Microsoft Azure (DP-203)

Seminarbeschreibung:

Rechen- und Speicheroptionen für Data-Engineering-Workloads

• Einführung in Azure Synapse Analytics
• Erläuterung von Azure Databricks
• Erläuterung in Azure Data Lake-Speicher
• Beschreiben der Delta Lake-Architektur
• Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics

Interaktive Abfragen mit Azure Synapse Analytics serverlosen SQL-Pools ausführen

• Möglichkeiten von Azure Synapse Serverless SQL Pools
• Abfragen von Daten im Lake mit Azure Synapse Serverless SQL Pools
• Erstellen von Metadatenobjekten in Azure Synapse Serverless SQL Pools
• Sichern von Daten und Verwalten von Benutzern in Azure Synapse Serverless SQL Pools

Datenexploration und -umwandlung in Azure Databricks

• Azure Databricks
• Lesen und Schreiben von Daten in Azure Databricks
• Arbeiten mit DataFrames in Azure Databricks
• Arbeiten mit fortgeschrittenen DataFrames-Methoden in Azure Databricks

Analysieren, Transformieren und Laden von Daten in das Data Warehouse mit Apache Spark

• Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
• Einlesen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
• Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
• Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics

Daten in das Data Warehouse aufnehmen und laden

• Verwenden von Best Practices zum Laden von Daten in Azure Synapse Analytics
• Ingestion im Petabyte-Bereich mit Azure Data Factory

Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines

• Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
• Codefreie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines

Orchestrierung der Datenbewegung und -transformation in Azure Synapse Pipelines

• Orchestrierung der Datenbewegung und -transformation in Azure Data Factory

End-to-End-Sicherheit mit Azure Synapse Analytics

• Data Warehouse in Azure Synapse Analytics sichern
• Konfigurieren und Verwalten von Secrets in Azure Key Vault
• Implementierung von Compliance-Kontrollen für sensible Daten

Hybride transaktionale analytische Verarbeitung (HTAP) mit Azure Synapse Link unterstützen

• Entwerfen Sie hybride transaktionale und analytische Verarbeitung mit Azure Synapse Analytics
• Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
• Abfrage von Azure Cosmos DB mit Apache Spark-Pools
• Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools

Stream-Verarbeitung in Echtzeit mit Stream Analytics

• Zuverlässiges Messaging für Big Data-Anwendungen mit Azure Event Hubs ermöglichen
• Arbeiten mit Daten-Streams mithilfe von Azure Stream Analytics
• Einlesen von Daten-Streams mit Azure Stream Analytics

Erstellen einer Stream Processing-Lösung mit Event Hubs und Azure Databricks

• Verarbeiten von Streaming-Daten mit Azure Databricks Structured Streaming

Zielgruppe

BI-Professionals, Datenanalysten, Datenarchitekten

Voraussetzungen

Grundkenntnisse im Umgang mit Azure und Daten