Databricks lanceert Delta Live Tables
- Dit ETL-framework is het eerste dat zowel automatisch de infrastructuur beheert als moderne software engineering-methoden toepast op data engineering
- Met Delta Live Tables kunnen data engineers en analisten zich concentreren op het transformeren van data in plaats van het beheer van pipelines
Databricks, data- en AI-leider en pionier van het data lakehouse, lanceert vandaag Delta Live Tables: het eerste ETL-framework met een eenvoudige declaratieve benadering om betrouwbare data-pipelines op te zetten en de data-infrastructuur automatisch op schaal te beheren. De oplossing was sinds medio 2021 als preview beschikbaar voor selecte Databricks-klanten en is vanaf vandaag breed beschikbaar.
Doorgaans vergt het veel vervelend en complex handwerk om SQL queries om te zetten naar ETL-pipelines. Maar door met moderne software engineering-methoden de meest tijdrovende taken van data engineering te automatiseren, kunnen data engineers en analisten zich richten op hun datawerk in plaats van het onderhoud van pipelines.
Veel bedrijven die waarde uit hun data willen halen, huren dure, hoogopgeleide en moeilijk te vinden data engineers in om vertragingen en mislukkingen te voorkomen. Maar vertragingen of mislukte projecten worden vaak veroorzaakt door een ander probleem: het is ontzettend moeilijk om betrouwbare data pipelines te bouwen die geen nauwgezette werkprocessen en onderhoud vereisen. Zelfs op kleine schaal besteedt een data engineer het gros van zijn tijd aan tooling en het beheer van de infrastructuur om data pipelines operationeel te houden.
De oplossing voor kostbaar en complex handwerk
Delta Live Tables is het eerste en enige ETL-framework dat dit probleem oplost door moderne engineering-methoden te combineren met geautomatiseerd infrastructuurbeheer. Dit vereenvoudigt ETL-ontwikkeling omdat engineers eenvoudig de uitkomsten van data-transformaties kunnen beschrijven. Delta Live Tables begrijpt vervolgens de afhankelijkheden van de volledige data pipeline en automatiseert vrijwel al het complexe handwerk. Delta Live Tables laat data engineers tevens hun data als code behandelen en moderne software engineering best practices toe te passen zoals testen, foutafhandeling, monitoring en documentatie – dit alles om betrouwbare pipelines op schaal eenvoudiger te implementeren. Delta Live Tables biedt volledige ondersteuning voor zowel Python als SQL en is op maat gemaakt om zowel met streaming als batch workloads te werken.
Delta Live Tables wordt gebruikt bij toonaangevende bedrijven over de hele wereld, waaronder JLL, Shell, Jumbo en ADP. “Bij ADP zijn we onze human resource management-data aan het migreren naar een geïntegreerd data lakehouse. Delta Live Tables heeft ons team geholpen om kwaliteitscontroles in het proces te bouwen, en dankzij de declaratieve API’s, ondersteuning voor batch en real-time SQL-workloads bespaart het ons team veel tijd en moeite in het beheer van onze data”, zegt Jack Berkowitz, Chief Data Officer bij ADP.
“Delta Live Tables is zo krachtig omdat het iets kan wat niemand anders kan – moderne software engineering combineren met geautomatiseerd beheer van infrastructuur automatisch. Dit is een baanbrekende technologie die data-engineers en analisten productiever maakt dan ooit”, aldus Ali Ghodsi, CEO en medeoprichter van Databricks. “Delta Live Tables vergroot ook het bereik van Databricks, omdat het ieder type data-workload ondersteunt met een enkele API, waardoor geavanceerde data engineering-vaardigheden niet meer nodig zijn.”
Lees meer over Delta Live Tables op het blog van Databricks.
