Foundation Models
Mit KI das Klima neu berechnen
Virtuelles Waldmodell. Bild: UFZ
Helmholtz-Forscher:innen wollen ein KI-Basismodell entwickeln, mit dem langfristigere und zuverlässigere Klima-Prognosen möglich sind. Das Projekt ist Teil einer Initiative, die das Potential dieser Modelle für die Forschung heben will.
Das Klima ist im Wandel. Global. Der Blick ins Archiv ist wichtig, um zentrale Trends zu erkennen. Der Blick in die Zukunft jedoch, den brauchen wir, um Gesellschaft, Natur und Infrastruktur bestmöglich auf kommende Klimaszenarien vorzubereiten sowie das Klima zu stabilisieren. Obwohl moderne Technologien und komplexe Modelle die Wetter- und vor allem Klimaprognosen in den letzten Jahrzehnten verbessert haben, sind die Vorhersagen nach wie vor fehleranfällig. Martin Schultz und sein Team wollen das ändern – mithilfe künstlicher Intelligenz (KI).
Schultz ist Professor für Computational Earth System Science an der Universität zu Köln sowie Wissenschaftler am Jülich Supercomupting Center (Forschungszentrum Jülich). Außerdem leitet er die Forschungsinitiative HClimRep, eines von vier Pilotprojekten der Helmholtz Foundation Model Initiative (HFMI). Innerhalb der nächsten drei Jahre werden Schultz und seine Kolleg:innen ein Foundation Model entwickeln, das das Zeug dazu hat, bessere Klimaprognosen zu liefern als herkömmliche Modelle. Dazu werden erstmalig auch Informationen über die Atmosphäre, die Ozeane und das Meereis in einem KI-Modell miteinander kombiniert. „Um das Klima vernünftig vorhersagen zu können, muss man die Wechselwirkungen zwischen diesen Komponenten berücksichtigen“, sagt Schultz.
Foundation Models sind spezielle maschinelle Lernmodelle, die mit extrem großen Datensätzen trainiert werden. Dabei lernen sie durch ein umfassendes, aber noch relativ unspezifische Grundlagentraining, eigenständig komplexe Muster und Zusammenhänge zu erkennen. Im nächsten Schritt können sie dieses umfangreiche Wissen auf eine Vielzahl unterschiedlicher Aufgaben anwenden, sogenannte Downstream-Tasks, auf die sie ursprünglich nicht trainiert wurden. Für diese Aufgaben benötigen sie oft nur eine geringe Menge zusätzlicher, spezifischer Daten, um effektiv zu funktionieren. Dies unterscheidet Foundation Models von herkömmlichen KI-Anwendungen.
KI-basierte Modelle profitieren von vielen Milliarden Datenpunkten aus jahrzehntelangen Messungen und Analysen von Temperatur, Winden und Wolken. „Anhand der vielen Daten erkennt das Foundation Model eigenständig Zusammenhänge zwischen einzelnen Parametern. Und zwar besser als es ein Mensch je könnte“, sagt Schultz. „Man könnte fast sagen, dass so ein KI-Modell ein physikalisches Verständnis des Klimas entwickelt, obwohl es die Gleichungen, mit denen Meteorologen das Klimasystem beschreiben, nie gesehen hat.“ Bereits 2021 begann Schultz, gemeinsam mit Christian Lessig vom Europäischen Zentrum für mittelfristige Wettervorhersage und Ilaria Luise vom CERN, ein erstes Foundation Model für die hochkomplexe Dynamik in der Atmosphäre zu entwickeln: AtmoRep. Das aktuelle Projekt HClimRep baut darauf auf.
Supercomputer am Forschungszentrum Jülich. Komplexe KI-Anwendungen wie Foundation Models sind ohne die Rechenpower dieser Rechner nicht möglich. Bild: Forschungszentrum Jülich
KI-Modelle haben in den letzten Jahren die Meteorologen aufgerüttelt, weil sie sehr viel schneller genauere Wettervorhersagen liefen können als klassische Modelle. Diese KI-Wettermodelle wurden auf eine spezifische Aufgabe trainiert: Wettervorhersagen zu erstellen. „Unser neues Deep-Learning-Modell wird anders funktionieren“, erklärt Schultz. Das erste Grundlagentraining erfolgt noch ohne konkrete Aufgabe für das Foundation Model. Erst in einem nächsten Schritt wird es darauf trainiert, beispielsweise langfristige Veränderungen von Spurenstoffen in der Stratosphäre vorherzusagen, marine Hitzewellen in verschiedenen Klimazonen zu simulieren und regionale Flutvorhersagen zu verbessern.
Eine der größten Herausforderungen für das Team: HClimRep muss in der Lage sein, verschiedenste Datenformate zu verarbeiten und den Vorhersagezeitraum von Tagen auf Spannen von mehreren Jahrzehnten zu erweitern. „Es ist aktuell noch nicht absehbar, wie weit man mit HClimRep in die Zukunft schauen können wird“, sagt Schultz. „Neueste Studien legen nahe, dass das klappen kann. Aber selbst, wenn wir am Ende nur saisonale Vorhersagen machen können, ist das trotzdem schon ein gewaltiger Fortschritt.“ Eine mögliche Schwierigkeit für das Erzielen noch längerer Vorhersagen sind klimatische Kipppunkte. „Diese können zu Wetterereignissen führen, die wir so noch nicht erlebt haben. Daher kann das Foundation Modell diese beim Training nicht kennenlernen und wahrscheinlich keine vernünftigen Schlüsse aus den Daten ziehen“, so Schultz.
Insgesamt eine gewaltige Aufgabe für die kommenden drei Jahre. Beteiligt sind das Alfred-Wegener-Institut, Helmholtz-Zentrum für Polar- und Meeresforschung, das Karlsruher Institut für Technologie, das Helmholtz-Zentrum Hereon und das Forschungszentrum Jülich. Dort, auf Europas erstem Exascale-Computer, wird das HClimRep Modell trainiert. Auch wenn das Training eines solchen Modells viel Rechenleistung erfordert, so ist es insgesamt doch effizienter und damit ressourcensparender als aktuelle Klimamodelle. Denn diese benötigen sehr viel Rechenleistung für die Simulation unterschiedlicher Klimaszenarien, wohingegen das mit dem vortrainierten HClimRep-Modell extrem schnell und effizient ablaufen wird.
Die Erwartungen sind groß. „Ein komplett neues Klimamodell werden wir in den kommenden drei Jahren allerdings nicht entwickeln können“, sagt Schultz. Entscheidende Fortschritte und eindrucksvolle Ergebnisse wird es aber schon geben. Von denen wiederum wird die gesamte Forschungsgemeinschaft profitieren. Schließlich werden alle Modelle und Daten der HFMI nach dem FAIR-Prinzip als Open-Source zur Verfügung gestellt.
Helmholtz Foundation Model Initiative
Bei den sogenannten Foundation Models handelt es sich um eine neue Generation von KI-Modellen, die eine breite Wissensbasis haben und deshalb in der Lage sind, eine Reihe von komplexen Problemen zu lösen. Sie sind deutlich leistungsstärker und flexibler als herkömmliche KI-Modelle und bergen somit ein enormes Potenzial für die moderne, datengetriebene Wissenschaft. Sie können mächtige Werkzeuge werden, die eine Vielzahl von Forschungsfragen beantworten. Die Helmholtz-Gemeinschaft bringt ideale Voraussetzungen mit, um solche zukunftsweisenden Anwendungen zu entwickeln: eine Fülle an Daten, leistungsstarke Supercomputer, auf denen die Modelle trainiert werden können, und eine tiefgreifende Expertise im Bereich der künstlichen Intelligenz. Unser Ziel ist es, Foundation Models über ein breites Spektrum von Forschungsfeldern hinweg zu entwickeln, die zur Lösung der großen Fragen unserer Zeit beitragen.
Leser:innenkommentare