Databricks är en plattform där data scientists, data engineers och data analysts kan arbeta tillsammans. Här går det att skapa ETL-flöden, visualiseringar med Dashboards såväl som Machine Learning modeller. Med sin kraftfulla Apache Spark motor är Databricks ett utmärkt val när stora datamängder ska bearbetas. En annan sak som måste nämnas är Databricks Lakehouse Platform. Det är den första och enda molnbaserade lakehouse-lösningen som finns. Här kombineras flexibiliteten hos en data lake med pålitligheten hos ett datalager genom Delta Lake. Delta Lake är en lösning med öppen källkod som kan beskrivas som ett lagring över en data lake och som är fullt kompatibel med er egna data lake i till exempel Azure. Skillnaden från en vanlig data lake är kontrolleringen av datakvaliteten. I en vanlig data lake är det svårt att säkerställa datakvaliteten, vilket är ett stort problem när rapporter ska göras eftersom det krävs en pålitlig grund att basera sina analyser på. Delta Lake löser detta problem genom att tillföra ACID-transaktioner. Flexibiliteten bibehålls däremot och det går att spara såväl strukturerade, ostrukturerade som semistrukturerade filer.

‍

Varför Databricks?

I och med den digital revolutionen så blir användningen av stora mängder data mer och mer av en nödvändighet för organisationer och då krävs också verktyg för att kunna hantera detta. Det är här Databricks kommer in. Databricks skapades av grundarna för Apache Spark och är ett oerhört kraftfullt och flexibelt verktyg. Med sin Apache Spark motor klarar den av att hantera big data.

Skaparnas vision för Databricks är att förenkla och tillgängliggöra data och AI, och göra det lättare att lösa komplexa problem. Detta märks i hur plattformen är formad och dess funktioner. En funktion är att det går att skriva med olika språk så som SQL, Python, Scala, R och Java i en och samma notebook. En del kod kan exempelvis vara i SQL, nästa i Python och en tredje i Scala. Utvecklaren kan arbeta i det språk som känns mest bekvämt och kan samtidigt samarbeta med andra utvecklare som skriver i andra språk. En annan funktion som underlättar utveckling är att flera kan arbeta i samma arbetsyta samtidigt. Att tillägga är också att det går att arbeta krossfunktionellt inom ett arbetslag med Databricks, eftersom data engineers, data scientists och data analysts då alla kan samlas och arbeta tillsammans på denna plattform. Med alla dessa fördelar går det lätt att se att du kan uppnå stora saker med Databricks!

‍

Azure Databricks

Azure Databricks är en Apache Spark-baserad analysplattform som är anpassad för Microsoft Azures plattform för molntjänster. Databricks är gränssnittet medan Apache Spark är motorn bakom allting, som består av en klusterteknik och funktioner med öppen källkod. Azure Databricks är helt fri från underhåll där tillgång till hanterade Spark-kluster som är en interaktiv arbetsyta för utforskning och visualisering samt en plattform för Spark-baserade program finns tillgängligt. Med Azure Databricks blir det möjligt att integrera med Azure Synapse Analytics, Cosmos DB, Data Lake Store, Blob Storage och dessutom med Power BI för att visualisera insikter på ett enkelt sätt.

‍