Idee und Motivation
Was war eigentlich der heißeste Tag 2012 in Halle an der Saale? In welchem Jahr in den Neunzigern fiel der meiste Regen? Banal klingende Fragen. Und sicher kann man diese mit etwas Recherche Aufwand auch einigermaßen gut beantworten.
Nun reden alle von Open Data. Davon, dass öffentliche Daten allen zugänglich gemacht werden müssen. Im Falle von Wetterdaten ist das scheinbar einfach: kein Personenbezug, keine DSGVO, keine PII Anforderung. Einfach mal eine öffentliche Wetterdaten API konsumieren und gut.
Echt jetzt? So einfach ist das? Nicht ganz. Zunächst muss man sich einen Überblick verschaffen:
- welche Datenanbieter für Wetter- und Klimadaten gibt es?
- fallen Kosten an?
- kann man auch auf historische Daten der letzten Jahre zurückgreifen?
- wie einfach ist die Integration in neue und bestehende Anwendungen?
Also datenzentrierte Orchestrierung – ETL oder ELT (wird sich auf dem Weg ergeben!) und auf jeden Fall Kubernetes! Spinnt der Micha jetzt total? Ja. Na und. Soll ja auch bisschen Spaß bringen.
Die nächsten Schritte sind also:
Nun bin ich ja auch Techi 😉 Also lautet die Challenge: Wetterdaten konsumieren, in einer Datenbank für künftige Abfragen und Analysen speichern und irgendeine Art Webfrontend davor für Abfragen in natürlicher Sprache und mit hübschen Graphen. Schön. Aber gut?! Warum nicht gleich eine moderne Data Platform ins Spiel bringen!?
- Wetterdaten API Anbieter auswählen
- erste, grobe Architektur entwerfen
- Testdaten konsumieren
- zwei bis drei Schritte zurücktreten und dann noch mal das „Produkt“ denken und meine eigenen Anforderungen überprüfen und niederschreiben
Heute ist Samstag. Also: auf gehts!