Large Language Modelle kurz erklärt

Large Language Models (LLMs) werden für Aufgaben wie Textentwürfe, Zusammenfassungen und Codevorschläge eingesetzt. Um ihre Ausgaben angemessen zu prüfen, hilft es, ihre Funktionsweise und Grenzen zu kennen.

Der Beitrag erläutert die Token-Vorhersage, das Training und wichtige Einschränkungen. Das oben verlinkte Video bietet eine zusätzliche Einführung.

Wie LLMs Text erzeugen

Ein Large Language Model (LLM) berechnet anhand des bisherigen Kontexts Wahrscheinlichkeiten für das nächste Token. Ein Token kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder ein anderes Textstück sein. Das Modell erzeugt Text, indem es schrittweise weitere Tokens auswählt; es sagt also nicht schlicht jeweils das nächste Wort voraus. Die Ausgabe hängt außerdem von Modell, Eingabe und Decodierungsverfahren ab und ist nicht zwingend das jeweils wahrscheinlichste Token.

Im Vortraining lernt das Modell meist selbstüberwacht aus großen Textsammlungen: Aus einem Textkontext wird ein Trainingsziel abgeleitet, etwa ein nachfolgendes Token vorherzusagen. Dabei erwirbt es statistische Muster und kann Informationen aus den Trainingsdaten reproduzieren. Das ist kein vollständiges oder stets aktuelles Faktenarchiv; auch falsche oder veraltete Angaben können in Antworten einfließen. Zu den dabei gelernten Mustern gehören:

• Grammatik und Syntax: Wie Sätze korrekt gebildet werden.
• Faktenwissen: Informationen über die Welt, wie sie in den Trainingsdaten beschrieben sind.
• Kontextabhängige Muster: Wie Wörter und Formulierungen in unterschiedlichen Textzusammenhängen verwendet werden.
• Stil und Tonalität: Es erkennt und reproduziert verschiedene Schreibstile, von formell bis kreativ.

Das technologische Fundament, das dies ermöglicht, ist die sogenannte Transformer-Architektur. Eine ihrer Schlüsselkomponenten ist der “Attention-Mechanismus”. Dieser erlaubt es dem Modell, die Wichtigkeit verschiedener Wörter in einer Eingabesequenz dynamisch zu gewichten. Bei der Vorhersage des nächsten Wortes im Satz “Der CEO präsentierte die Quartalszahlen, und sie waren ausgezeichnet” kann der Attention-Mechanismus korrekt auf “Quartalszahlen” als Bezugspunkt für “sie” fokussieren und nicht auf “CEO”. Dieses differenzierte Kontextverständnis ist der entscheidende Unterschied zu älteren Sprachmodellen und die Basis für die beeindruckende Kohärenz moderner LLMs.

Der zweistufige Trainingsprozess: Vom Daten-Dschungel zum nützlichen Assistenten

Viele LLMs durchlaufen zunächst ein Pre-Training und anschließend weitere Trainings- oder Anpassungsschritte. Die konkreten Verfahren unterscheiden sich je nach Modell. Die folgende Übersicht beschreibt einen verbreiteten, vereinfachten Ablauf.

Stufe 1: Das Pre-Training – Muster aus Text lernen

In der ersten Trainingsphase erfolgt häufig ein selbstüberwachtes Pre-Training. Das Modell erhält keine einzeln von Menschen annotierte Antwort für jedes Beispiel; das Trainingsziel wird stattdessen aus den Texten selbst abgeleitet. Bei einem autoregressiven Sprachmodell wird zum Beispiel gelernt, das nächste Token im Kontext vorherzusagen. Durch wiederholte Optimierung passt das Modell seine Parameter an die Muster in den Trainingsdaten an.

Das Ergebnis ist ein Basismodell, das Text fortsetzen kann und dabei Informationen aus seinen Trainingsdaten wiedergeben kann. Sein gespeicherter Parameterstand ist aber weder eine durchsuchbare Datenbank noch ein zuverlässiges, vollständiges oder aktuelles Nachschlagewerk. Die Trainingsdaten können außerdem Verzerrungen enthalten.

Stufe 2: Post-Training und Anpassung für Dialoge

Auf das Pre-Training können Anpassungsschritte folgen, die das Modell für bestimmte Aufgaben oder Dialoge abstimmen. Dazu können Beispiele menschlicher Verfasser und Bewertungen von Antworten verwendet werden. Ein möglicher Ablauf umfasst:

1. Supervised Fine-Tuning (SFT): Menschen erstellen hochwertige Beispiele für Konversationen. Sie formulieren Fragen und schreiben ideale Antworten, die das Modell lernen soll. Das Modell wird mit diesen kuratierten Datensätzen trainiert, um zu verstehen, wie eine hilfreiche und präzise Antwort auf eine Anweisung auszusehen hat.
2. Ausrichtung anhand von Präferenzen: Bei RLHF oder verwandten Verfahren bewerten Menschen beispielsweise mehrere Antworten. Diese Präferenzen können genutzt werden, um das Modell an gewünschte Antwortformen anzupassen. Welche Verfahren eingesetzt werden, unterscheidet sich zwischen Systemen; sie garantieren weder Fehlerfreiheit noch ein bestimmtes Verhalten.

Dieser zweite Schritt ist von immenser Bedeutung. Er zähmt das Modell, reduziert die Wahrscheinlichkeit schädlicher oder unsinniger Ausgaben und macht es zu einem Werkzeug, das sich für den produktiven Einsatz eignet.

Potenziale und Fallstricke: Der strategische Umgang mit LLMs

Das Verständnis des Trainingsprozesses ist der Schlüssel zur Einschätzung der realen Fähigkeiten und Grenzen von LLMs im Unternehmensalltag.

Praktische Stärken im Business-Kontext

Die Fähigkeiten von LLMs lassen sich in zahlreichen Geschäftsbereichen gewinnbringend einsetzen:

• Content-Erstellung und Kommunikation: Entwurf von Marketingtexten, Social-Media-Posts, internen Mitteilungen oder E-Mail-Vorlagen.
• Zusammenfassung und Analyse: Extraktion der Kernaussagen aus langen Berichten, Kundenrezensionen oder wissenschaftlichen Studien zur schnellen Entscheidungsfindung.
• Programmierung und Softwareentwicklung: Generierung von Code-Snippets, Debugging, Erklärung von Code-Blöcken oder Übersetzung zwischen Programmiersprachen.
• Ideenfindung und Kreativität: Brainstorming von Produktnamen, Kampagnenslogans oder strategischen Ansätzen als kreativer Sparringspartner.

Die unvermeidbaren Limitationen

Trotz ihrer beeindruckenden Leistungen sind LLMs keine allwissenden Orakel. Ihre Architektur und ihr Training bringen systemische Schwächen mit sich, die jeder Anwender kennen muss:

• Halluzinationen: Da LLMs nur auf statistischer Wahrscheinlichkeit basieren und nicht auf einer verifizierten Wissensdatenbank, können sie Fakten erfinden, die überzeugend klingen, aber falsch sind. Die kritische Überprüfung der Ergebnisse ist daher unerlässlich.
• Begrenzte Aktualität: Ein Basismodell kann keine Ereignisse aus Trainingsdaten wiedergeben, die erst nach seinem Training entstanden sind. Ein angeschlossener Suchdienst kann aktuelle Quellen bereitstellen, sofern die Anwendung ihn nutzt; dies ist eine zusätzliche Funktion und keine Eigenschaft des Basismodells.
• Verzerrungen (Biases): Das Modell reproduziert unweigerlich gesellschaftliche und historische Vorurteile, die in den Trainingsdaten vorhanden sind. Dies kann zu stereotypen oder unfairen Ergebnissen führen.
• Fehlendes echtes Verständnis: Ein LLM versteht nicht, was es sagt. Es ist ein hochentwickeltes Mustererkennungssystem. Es besitzt kein Bewusstsein, keine Absichten und kein Urteilsvermögen.

Einige Anwendungen verbinden ein Sprachmodell mit Suche oder einem angebundenen Dokumentbestand (häufig als Retrieval-Augmented Generation, RAG, bezeichnet). Dabei werden passende externe Inhalte zur Anfrage abgerufen und dem Modell als Kontext bereitgestellt. Das kann Antworten auf Basis aktueller oder organisationsinterner Quellen ermöglichen, macht die Inhalte aber nicht automatisch korrekt: Qualität und Aktualität der Quelle, Auswahl der abgerufenen Passagen und Belege müssen weiterhin geprüft werden. Diese Suche ist eine Anwendungsschicht und nicht dasselbe wie das Wissen, das im Basismodell aus dem Training stammt.

Fazit: LLMs als Co-Piloten, nicht als Autopiloten

Large Language Models erzeugen Text auf Grundlage gelernter Muster und des bereitgestellten Kontexts. Sie können bei bestimmten Aufgaben unterstützen, liefern aber keine verlässlichen Fakten allein dadurch, dass ihre Formulierungen überzeugend klingen.

Ausgaben sollten anhand geeigneter Quellen und des jeweiligen Anwendungsfalls geprüft werden. Bei angebundener Suche ist zusätzlich zu kontrollieren, welche Dokumente tatsächlich abgerufen und für die Antwort verwendet wurden.