Foundation Models

Foundation Models sind Modelle für maschinelles Lernen, die mit einem sehr umfangreichen Datensatz vortrainiert werden. Durch dieses Pre-Training sind sie in der Lage, komplexe Zusammenhänge auf der Grundlage der erlernten Muster zu verstehen und zu generieren. Das aus dem anfänglichen breiten Training gewonnene Wissen kann auf viele nachgelagerte Aufgaben übertragen werden, wobei oft nur eine kleine Menge aufgabenspezifischer Daten für eine effektive Leistung erforderlich ist. Das unterscheidet Foundation Models von herkömmlichen KI-Modellen, die für eine ganz bestimmte Aufgabe trainiert werden. Foundation Models sind heute im Zusammenhang mit der Verarbeitung natürlicher Sprache bekannt (Chat-GPT), sind aber nicht auf Sprachanwendungen beschränkt. Das Konzept eines Foundation Models kann auf jeden Bereich ausgedehnt werden, in dem ein umfangreiches Modell auf einem breiten Datensatz vortrainiert und dann für bestimmte Aufgaben feinabgestimmt wird. Das macht sie auch für die Forschung so interessant.