Published on 14 Sep 2021
min read
Views
År 2011 myntade James Dixon, grundare och dåvarande teknisk chef (CTO) på Pentaho, begreppet ”datasjö”. Hans mål var att bidra till att lösa problemen med traditionella datalager, som kräver att data kategoriseras redan vid inmatningen. Sedan dess har vi gått vidare från idéerna om datalager och datalager till det hetaste ämnet just nu – ett ”Data Mesh”.
Med tanke på den växande globala betydelsen av datadrivna beslut för att säkerställa organisatorisk framgång, låt oss ta en snabb titt på hur vart och ett av dessa begrepp kan underlätta er verksamhet
Ett datalager stöder integrationen av data från heterogena källor och kategoriserar och lagrar den för framtida bruk. De operativa schemana här är fördefinierade för varje relevant affärskrav och följer vanligtvis ETL-processen (Extract-Transform-Load).
Några av de utmaningar som är förknippade med ett datalager är:
- För varje nytt affärskrav måste vi identifiera de relaterade källorna och data från dessa för att bygga schemat och implementera ETL-processen.
- När det befintliga schemat behöver uppdateras kan detta utgöra en utmaning vad gäller tidsåtgång, eftersom datamängden kan vara ganska stor (flera terabyte/petabyte).
- Flera datalager kan ha skapats av affärsanvändare för att hantera sina egna rådata och bearbetade data för analys- och BI-rapporter, vilket leder till dubbla datakällor.
Datasjöar har bidragit till att lösa de flesta av de ovan nämnda problemen med hjälp av en schemalös arkitektur för lagring av alla typer av data i ett centraliserat lager. De är utformade med flera zoner, från en landningszon för mottagning av data (temporärt datalager), en rådatazon för lagring av originaldata, en produktionszon där de rensade och bearbetade data lagras, en känslig zon för lagring av känsliga data samt en utvecklingszon där dataforskare och ingenjörer kan arbeta. Detta styrs via rollbaserad åtkomsthantering.
Med datalake har ETL-processen nu ersatts av ELT-processen (Extract-Load-Transform), där all data från heterogena källor först samlas in i ett enda lagringsutrymme (föreställ dig olika strömmar som rinner ut i en sjö). Teamet bestående av dataingenjörer, dataforskare och affärsanalytiker kan sedan dynamiskt härleda de viktigaste resultaten.
Trots fördelarna medför datalake en rad utmaningar, bland annat:
- All data samlas i ett centraliserat lager, vilket kan leda till en datamyr om korrekt katalogisering saknas.
- Dataingenjörer som arbetar med en datalake har inte alltid den djupa ämnesförståelse som krävs för att härleda de resultat som verksamheten eftersträvar.
Ett datanätverk som liknar sin motsvarighet inom tjänstesektorn. Det löser ovanstående problem genom att dela upp data i affärsområden där varje användare äger den relevanta datan som en produkt för att säkerställa att varje bit information är:
- Hittbar
- Adresserbar
- Trovärdigt och sanningsenligt
- Självbeskrivande
- Interoperabelt och
- Säker
Figur 1:Data Mesh-arkitektur ur ett övergripande perspektiv av Martin Flower
Ref: https://martinfowler.com/articles/data-monolith-to-mesh.html
Data mesh är ett nytt mönster som existerar parallellt med datalager och datalake. Medan datalagring fortfarande är den övergripande verksamheten fungerar datalake som ett mer omfattande informationslager, där data mesh möjliggör snabbare tillgång till insikter och analyser.
Genom att införa en virtuell uppdelning inom ett datalake och bidra till att övervinna de utmaningar som är förknippade med en ”datapuddle” eller ”datapond” har data mesh därför blivit det hetaste nya ämnet inom området.
