Funktionsweise grosser Sprachmodelle

Zur Diskussion der Potenziale und Grenzen grosser Sprachmodelle ist es nicht zwingend notwendig, deren Funktionsweise im Detail zu kennen und zu verstehen. Unter Technisches werden technische Aspekte grosser Sprachmodelle beschrieben, die zu deren Einschätzung relevant sind.

Trotzdem kann es interessant sein, die Funktionsweise grosser Sprachmodelle genauer anzuschauen und zu verstehen. Im folgenden drei Hinweise zur möglichen Vertiefung.

Marcel Waldvogel: Wie funktioniert eigentlich ChatGPT?

Marcel Waldvogel hat einen anspruchsvollen, aber verständlichen Text zur Frage Wie funktioniert eigentlich ChatGPT? geschrieben:

Andrej Karpathy: Let's build GPT. From scratch, in code, spelled out.

Der Text von Marcel Waldvogel beruht teilweise auf dem Video von Andrej Karpathy, das ein gewisses Informatikwissen voraussetzt:

SoekiaGPT, das didaktische Sprachmodell

Die neue Lernumgebung SoekiaGPT von Michael Hielscher ermöglicht es Schülerinnen und Schülern ab der Sekundarstufe I unter die Motorhaube eines Textgenerators zu schauen und so wesentliche Konzepte, Potenziale aber auch Begrenzungen verstehen und den Vergleich mit einer Suchmaschine (Soekia) machen zu können. Kostenfrei, webbasiert unter www.soekia.ch nutzbar, z.B. in Fächern wie Deutsch oder Informatik. Inkl. Handreichung für Lehrpersonen.