Das ist der Job
Deine Aufgaben Konzeptionierung und Implementierung von KI-bereiten Lakehouse-Architekturen mit Delta Lake und dem Medallion-Pattern, Entwurf von Datenmodellen unter Berücksichtigung von Metadaten und einem semantischen Layer, Einführung von Data Mesh und Datenprodukten, Aufbau zuverlässiger Ingestions- und Transformationsprozesse mittels z.
Darum lohnt es sich
Auto Loader und/oder Delta Live Tables sowie Integration von Datenqualitätsprüfungen und SLAs Entwicklung von End‑to‑End‑Datenpipelines auf Databricks und ähnlichen Lösungen (bevorzugt mit Erfahrung in Azure), unter Verwendung von PySpark und SQL für Batch‑ und Streaming‑Verarbeitung sowie Implementierung von DataOps‑Praktiken inkl.
CI/CD, automatisierten Tests und Deployment‑Strategien für skalierbare Datenplattformen Integration mit vor‑ und nachgelagerten Systemen (z. Kafka/Confluent, Event Hubs, REST‑APIs, ADLS/S3; BI‑Tools wie Power BI und Databricks SQL Warehouses), sowie Orchestrierung und Aufsatz von Monitoring von Workflows (z.
Databricks Workflows, Airflow, Azure Data Factory) und FinOps für Cloud‑Datenplattformen Definition und Konfiguration der Data Governance‑Funktionalitäten: Kataloge, Schemata, Berechtigungen, Data Lineage, Auditing, Zugriffsteuerung auf Zeilen‑ und Spaltenebene.
Anwendung von "Security, Privacy and Compliance by Design" (DSGVO, BaFin‑Vorgaben) und Implementierung von SSO/SCIM, Secret Scopes, Netzwerkisolierung/Private‑Link‑Verschlüsselung <
