Lake database i Azure Synapse

Stora mängder transaktioner gav upphov till databashanteringssystem, som i sin tur ökade antalet databaser. Att sammansätta dessa blev därefter ett faktum som följaktningen gav möjligheten för organisationer att samla in data från alla olika delar av sin organisation. Datalagring blev ett fenomen, där ramverk underlättade datahantering och banande väg för Data lake.

‍

Data Lake

En Data Lake är en lagringsplats som matar in och lagrar stora mänger rådata i sin ursprungliga form. Data lake använder sig av beräkningskraft efter behov och gör det möjligt att beskriva hur och var datan ska lagras. Lake Database ger organisationer (med en Data lake-strategi) tillgång till en traditionell databasdesign som innehåller metainformation om den lagrade datan. Funktionaliteten i en databasdesign ger dig möjlighet att skapa en datamodell för din Lake database och lägga till ytterligare information till den. Varje entitet och attribut kan med fördel beskrivas för att ge mer information om modellen.

På bilden visas flödesschemat för Lake database, innehållande Azure Synapse-beräkningspooler, Database Templates Gallery för att visuellt skapa Data lake tabeller, Azure Data lake-lagring, Azure-datapipelines för att mata in data i Lake-databasen från olika datakällor.

‍

‍

Lake database

Lake database möjliggör modellering av relationer mellan entiteter och tabeller som det kan finns behov av när data ska förädlas. Lake database använder en Data lake på ett Azure Storage-konto för att lagra data och data kan lagras i Parquet-, Delta- eller CSV-format samt olika inställningar kan användas för att optimera lagringen.

Lagring separeras från bearbetningskraften med hjälpav en Lake database. För beräkningskraft kan man nyttja såväl Synapse Dedicated SQL Pool, Serverless SQL Pool eller Apache Spark Pool.

Konceptet med en Lake database i Synapse och DeltaLake i Azure Databricks är liknande avseende att de ger ett semantisk SQL-baserat lager ovanpå en Data lake. I dagsläget har Azure Databricks ännu mer stöd kring CRUD-operationer (create, read, update, and delete) samt så finns mer funktionalitet kring ex. ACID transactions, time travel.

Det vi rekommenderar att kunder tittar närmare på innan start med Lake database är Synapses Database Templates för olika branscher och analysområden, som kan effektivisera designen av er dataplattform genom att nyttja standarder hur data beskrivs.

‍