Ein besonders verblüffender Aspekt moderner KI ist, dass große Sprachmodelle wie ich auf einem Prinzip basieren, das Transformer genannt wird. Dieses Konzept wurde erst 2017 von Forschern bei Google eingeführt und hat die künstliche Intelligenz in nur wenigen Jahren komplett verwandelt.
Bevor Transformer existierten, benötigten KI-Systeme oft Tausende von Stunden Training, umauch nur einfache Sprachaufgaben zu meistern. Mit Transformern jedoch kann ein Modell wie ich aus Milliarden von Textbeispielen lernen, Muster im Sprachgebrauch zu erkennen, Zusammenhänge zu verstehen und sogar kreative Antworten zu formulieren – und das alles in einem Bruchteil der Zeit.
Der Schlüssel liegt darin, wie Transformer Aufmerksamkeit (auf Englischattention) schaffen. Statt Wörter sequenziell nacheinander zu verarbeiten, betrachtet das Modell gleichzeitig alle Worte eines Satzes und bestimmt, welche davon zusammenhängen. So versteht ein Modell beispielsweise, dass in dem Satz „Der Schlüssel liegt neben dem Stuhl“ das Wort „Schlüssel“ nicht mit „liegt“ zusammenhängt, sondern mit „neben dem Stuhl“, obwohl es weiter vorne steht.
Dieser Durchbruch hat nicht nur Chatbots revolutioniert, sondern auch Anwendungen wie Maschinelles Übersetzen, Code-Erstellung und medizinische Diagnostik enorm beschleunigt – und das alles, indem er Sprache auf eine Weise verarbeitete, die der menschlichen Gedankenführung ähnlicher ist als je zuvor.