GRIP op Data in vogelvlucht

Op deze pagina wordt in het kort uitgelegd hoe de GRIP ETL-toolkit werkt.

Nu ook beschikbaar: een downloadversie voor GRIP. Alle krachtige ETL-bouwblokken up en running vanaf uw eigen Windows-omgeving

Introductie GRIP ETL-toolkit

DE ETL-toolkit van Grip op Data bevat een aantal zeer krachtig bouwblokken waarmee je binnen een handomdraai elk gewenst datawarehouse kan ontwikkelen. Daarnaast worden deze bouwblokken ingezet voor datamigratie, datareplicatie, datakwaliteit en data warehouse automation. De GRIP ETL-bouwblokken draait on premise, in de cloud en Snowflake en nu ook vanaf elke Windows computer met een database connecties naar bronnen Vanuit de GRIP-editor kan de developper en beheerder maar ook de business-analist op eenvoudige wijze GRIP commando's uitvoeren op de geselecteerde database.

GRIP ETL-automation

ETL- en ELT-tools genereren SQL-code voor het verplaatsen en transformeren van data. Datawarehouse automation gaat een stap verder en volgt het ELT-principe, waarbij databaseobjecten worden gegenereerd, zoals tabellen, indexen, views, dimensies en inzichten. GRIP is in staat om complexe en tijdrovende bewerkingen op te splitsen in kleinere stappen. Geavanceerde flowcontrol bewaakt het proces, waarbij elke stap wordt gelogd. Dit wordt aangevuld met uitgebreide zakelijke en technische documentatie, inclusief een complete data lineage. Daarnaast zijn patronen in code, modellering en zelfs de ontwikkeling en uitrol van workflows te automatiseren. Deze gestandaardiseerde manier van werken is eigenlijk de eerste stap op weg naar automatisering.

GRIP eenvoud versus grafische complexiteit

De meeste ETL-tools hanteren een grafisch ontwikkelomgeving waarin het datawarehouse wordt gemodelleerd. Vanuit complexe visuele ontwerpen wordt de code gegenereerd en gedeployd. Als voordeel wordt genoemd dat een ontwikkelaar met weinig SQL-kennis als snel aan de slag kan. Echter, complexe modellen worden met een veelvoud aan lijnen en controle vinkjes al snel onoverzichtelijk. Na codegeneratie en deployment is de gegenereerd SQL-code alleen via het model te corrigeren.

Met GRIP wordt deze visueel laag overgeslagen. De ETL-bouwblokken zijn al volledige doorontwikkeld en op basis van een paar parameters is elke ETL-bewerking snel te realiseren. Deze bouwblokken zijn zeer geavanceerd, inclusief elke denkbare ETL-bewerking, flowcontrol, kwaliteitscontrole en herstart mechnismen zijn voorgeprogrammeerd. De kern van GRIP ga uit van de SQL in de vorm van een VIEW. De VIEW is feitelijk de SELECT en levert direct inzicht: hoe ziet de data eruit, hoe performt de query .. De grafische ETL moet eerst gedeployed worden en gevalideeerd worden: allemaal gedoe waardoor je factor 10 langer bezig bent.

De ETL-routines

Met onderstaande GRIP ETL-routines kan ieder denkbare datawarehouse worden gemaakt.

TRUNC_INSERT ('','','') 
INSERT_APPEND('','','') 
ACTUALIZE_T1('','','') 
ACTUALIZE_T2('','','') 
ACTUALIZE('','','') 
TAB_CLONE('','','') 
TEST_TABLE('','','') 
RID_UPDATE('','','') 
RID_DELETE('','','') 

De routines hebben ieder een specifieke LOAD-taak maar hebben dezelfde parameters :

GRIP_ETL.FIE('BRON','TARGET','COMMANDS')

Bijvoorbeeld: de ACTUALIZE_T2 is een GRIP-ETL-call waarmee je het TARGET-databeeld actualiseert met het huidige bron-databeeld. De SOURCE is een view met daarin een eenvoudige of complexere SQL-query. Deze SQL-query is gebaseerd op de business-rules van het functioneel of technisch ontwerp. Via parameters wordt met deze ETL-call de gewenste SQL-code gegenereerd.

    actualize_t2  ('| SOURCE GRIP_METADATA_V  | TARGET METADATA_JAG3  
                          |  MERGE_KEYS SCHEMA_NAME,TABLE_NAME,COLUMN_NAME |')

De actualize_t2 actualiseert de TARGET-tabel: sluit gewijzigde voorkomens af en voegt nieuwe voorkomens toe. Met deze routine kan bijvoorbeeld historie aangelegd worden van een bronsysteem die dat niet doet.

Klanten

Bij onderstaande klanten zorgt GRIP in meer of mindere mate voor het processen van de data tot bruikbare data voor rapportage doeleinden

• Schiphol ( Vluchten,vertrekhal,shops,parking,security,onderhoud,toegang,financieel en meer .. )
• Achmea Syntrus ( vastgoed )
• Royal Smilde Foods( warehouse achter JD-Adwards,financiel,commodity,forecast )
• RIVM ( Hielprikken en COVID-vaccinatie )
• Martini Ziekenhuis ( HIXS poc realtime vrije bedden overzicht )
• Lekkerkerker Rotterdam ( rijplaten verhuur )
• PROBO Dokkum ( Drukkerij, Vlaggen, diverse cloud omgevingen )
• Royal Koopmans ( Meel, JDE / Sqlserver )
• Westerkwartier ( gemeente, sociale domein en andere integraties )

Praktijkcase RIVM:

Voor een warehouse van RIVM ( hielprikken ) hebben we een datawarehouse gemigreerd van OracleWarehouseBuilder/ ODI naar GRIP. De hoeveelheid brontabellen waren ca 240 stuks. De bron-replicatie naar de STAGE kon 100% gegenereerd worden. De ODS was Type-2 3e normaalvorm, welke tevens voor 100% gegenereerd kon worden. De Datamarts moesten 1 voor 1, met copy-paste overgezet worden van gegeneererde ETL-packages naar oracle-ETL views.

Het nieuwe datawarehouse kon middels de GRIP_tablecompare vergeleken worden met het oude uit te faseren systeem. In bovenstaande plaat staat de BLAUWE datapomp voor GRIP . De Doorloop van het verversen van het gehele warehouse is terug gebracht van 24 uur naar 1 uur.

Praktijkcase Schiphol:

Aanvankelijk waren er 4 Oraclewarehouse builder datawarehouses voor de processen Parking,Retail,Flights en Toegangscontrole. Deze systemen zijn in heel korte tijd gemigreerd naar GRIP. Omdat warehouses met GRIP snel en goedkoop te realiseren bleken, zijn er in heel korte tijd ca 15 datawarehouses bij ontwikkeld. In totaal draaien er nu ca 20 datawarehouses. Een van de warehouses is ONEXS. ONEXS registreert de drukte in de vertrekhallen/incheck-balies en geeft daarvan de KPI-rapportage.

Praktijkcase Smilde Foods:

Een OracleWarehousBuilder/ODI datawarehouse migreren naar GRIP. Het overzetten van de STAGE en ODS in een handomdraai gerealiseeerd middels ETL-automation. De code is 100% gegenereerd. De Datamart onderdelen worden stuk voor stuk met copy/paste overgezet naar GRIP. Dit warehouse heeft als bron JD-Adwards en zet de data klaar voor rapportage met OBIEE. Ook bij Royal Smilde werd duidelijk hoe eenvoudig het warehouse uit te breiden was met nieuwe bronnen.

Praktijkcase Achmea Syntrus:

Ook bij Achmea was een OracleWarehousBuilder/ODI datawarehouse end of life. Het migreren naar GRIP is eenvoudig door de Business analist uitgevoerd. Door de zelfredzaamheid van de organisatie heeft deze de migratie nagenoeg zelf uitgevoerd en diverse datamarts toegevoegd. De doorloop van het primaire warehouse is van 14 uur terug gebracht tot 30 minuten.

Praktijkcase PROBO:

Diverse ( cloud,amazon ) bronnen ontsluiten in een sqlserver-cloud datawarehouse. De functioneel beheerder met enige sql-kennis is vrij snel bedreven in zelfstandig GRIP-ETL processen te ontwerpen. Binnen korte tijd rolt een eerste datamart van de band. De volgende datamart is inmiddels in de maak .

GRIP Databases

De GRIP-ETL-tool werkt op de systemen ORACLE,SNOWFLAKE,SQLSERVER en POSTGRESQL.
Met weinig inspanning is de ETL-functionaliteit geschikt te maken voor andere databases zoals MARIAdb of MySQL.