ChatGPT - So einfach ist es nicht!

"Wir müssen künftig nur noch das prüfen, was die Maschine nicht kann"

• Worum geht es?
  In der Diskussion zur Problematik, dass Sprachgeneratoren immer besser im Absolvieren aktueller Prüfungen an Schulen und Schulen werden ist teilweise die Aussage zu hören, dass Prüfungen künftig nur noch Kompetenzen prüfen sollten, die Maschinen nicht zeigen können.
• Was ist dazu zu sagen?
  Diese Aussage greift zu kurz. Es gibt verschiedene Kompetenzen, die wir weiterhin als Teil der Allgemeinbildung betrachten, und Maschinen aber weit voraus sind. Das einfachste und trivialste Beispiel: Kopfrechnen. Obwohl Maschinen uns seit Jahren sowohl beim kleinen als auch beim grossen 1x1 überflügeln, erachten wir es weiterhin als relevant, dass alle Schülerinnen und Schüler grundlegende Fertigkeiten im Kopfrechnen erlernen.

"ChatGPT lügt"

• Worum geht es?
  "ChatGPT lügt" ist eine oft gehörte Aussage.
• Was ist dazu zu sagen?
  
  • ChatGPT und andere Sprachmodelle produzieren zum Teil Texte, die nicht der Wahrheit entsprechen. Es stimmt, aktuelle Sprachmodelle liefern Texte, die nicht immer der Realität entsprechen. Dies liegt in der Natur ihrer Funktionsweise. Sie rechnen statistische Wahrscheinlichkeiten von möglichen Texten aufgrund der Texte, die sie vorgängig verarbeitet haben. Dies ergibt zwei grundsätzliche Quellen für unkorrekte Tatsachenbehauptungen:
    • Die unkorrekten Aussagen stecken bereits in den für das Training verwendeten Daten.
    • Rein sprach-statistisch ist die errechnete Aussage wahrscheinlich, was sie aber noch nicht inhaltlich korrekt macht. (Schweizer Politik-Beispiel: Dass Toni Brunner von ChatGPT auch schon als Sohn von Christoph Blocher bezeichnet worden ist, liegt vermutlich daran, dass Medien Toni Brunner mehrfach "Ziehsohn" von Christoph Blocher nannten und ChatGPT diese Aussage nicht als Metapher erkannt hat.
  • Lügen setzt die Kenntnis der Wahrheit und eine (böse) Absicht voraus: Es stellt sich aber die Frage, ob dieses Verhalten als Lügen bezeichnet werden soll. Wikipedia definiert eine Lüge als _"eine Aussage, von der der Sender (Lügner) weiß oder vermutet, dass sie unwahr ist, und die mit der Absicht geäußert wird, dass der Empfänger sie glaubt." Eine Lüge setzt gemäss dieser Definition sowohl die Kenntnis der Wahrheit als auch eine Täuschungsabsicht voraus. Nur: Es ist nicht davon auszugehen, dass die Sprachmodelle es eigentlich besser wüssten oder könnten - sie liefern als Antwort das gemäss ihren Daten und Algorithmen passendste Ergebnis. Auch ihnen eine Täuschungsabsicht zu unterstellen, ist nicht unproblematisch - ab wann soll man Maschinen eigene Absichten attestieren?
  • Ist "bullshitting" die bessere Alternative? Verschiedentlich wird dazu geraten, das Verhalten als bullshittung zu bezeichnen, nach dem Bestseller "On Bullshit" von Harry G. Frankfurt. Frankfurt und andere definieren bullshitting als Versuch, andere Leute zu beeindrucken oder zu überzeugen mit Aussagen, deren Wahrheitsgehalt einem egal ist. Somit trifft bullshitting die Funktionsweise von grossen Sprachmodellen schon besser - es erstellt ihnen aber immer noch eine Täuschungsabsicht. Hier gilt es eventuell zu unterscheiden zwischen dem Verhalten der Maschinen und ihrer Betreiber:innen. Es ist sehr wohl denkbar, dass Betreiber:innen von Sprachmodellen in gewissen Kontexten ein Interesse an bullshitting haben (z.B. um von der Lügner-Dividende zu profitieren).
  • Ist "halluzinieren" die bessere Alternative? Verschiedentlich wird das Verhalten von Sprachmodellen auch als halluzinieren bezeichnet. Bei diesem Begriff ist klar, dass weder böse Absicht noch die Kenntnis der Wahrheit Voraussetzung für das Verhalten ist. Der bisherige Gebrauch des Begriffs impliziert jedoch gemäss Kritiker:innen dieser Formulierung, dass Sinneseindrücke überbewertet oder imaginiert werden, was Sprachmodellen ein zu lebendiges Verhalten unterstellen würde.

"Bald wird es Software geben, die Texte von Sprachgeneratoren erkennen kann."

• Worum geht es?
  Bald nach Erscheinen von ChatGPT sind verschiedene Programme angekündigt worden (insbesondere auch von traditionellen Anbieter:innen von Plagiatserkennungssoftware), die behaupten computergenerierte Texte unterscheiden zu können von solchen, die von Menschen geschrieben worden sind.
• Was ist dazu zu sagen?
  
  • Erkennung ist schwierig:
    Die Entwicklung von Programmen zur Erkennung von KI-generierten Texten (wie z.B. GPT-Zero) wird ein Wettrüsten zwischen KI-Textgenerierung und KI-Texterkennung auslösen, da KI-Textgenerierungsprogramme die verfügbaren Erkennungsprogramme als zusätzlichen Filter / Trainingsmöglichkeit nutzen werden (z.B. mit GAN-Netzwerk mit Erkennungsalgorithmus als Diskriminator). Es wird somit vermutlich langfristig nicht möglich sein, computergenerierte Texte zuverlässig automatisiert erkennen zu können.
  • Juristisch haltbarer Nachweis ist schwierig:
    In Prüfungssituationen ist der juristisch stichfeste Nachweis eines Betrugs durch Sprachgeneratoren selbst dann schwierig bis unmöglich, wenn ein Erkennungsprogramm einen Text als computergeneriert deklariert, denn im Gegensatz zu einem Plagiat gibt es kein Original, das sich als Beweis vorlegen lässt. Vermutlich sind Betrugsabsichten mit Sprachgeneratoren nur juristisch beweisbar, wenn jemand in flagranti bei der unerlaubten Nutzung entsprechender Tools erwischt wird.
  • Die Frage der automatisierten Erkennung ist nicht zielführend:
    Es werden nur die wenigsten Schüler:innen komplett computergenerierte Texte abliefern. Mischungen von computergenerierten und menschengemachten Texten sind aber deutlich schwieriger zu erkennen und können zudem sehr wohl das Ergebnis eigener geistiger Leistung sein. Der Versuch einer automatisierten Erkennung des Anteils computergenerierten Textes ist somit weder zuverlässig möglich noch zielführend.

"ChatGPT ist nicht brauchbar - es kennt einfachste Fakten nicht"

• Worum geht es?
  Oft wird die Nützlichkeit oder Gefährlichkeit von ChatGPT als tief eingeschätzt mit der Erklärung, das Werkzeug würde einfachste Fakten nicht kennen. Meist werden als Belege lokale Fakten (Höhe von Bergen, geschichtliche Ereignisse oder lokale Berühmtheiten) angeführt.
• Was ist dazu zu sagen?
  ChatGPT beruht zwar auf einem grossen Textkorpus, der aber trotzdem nicht das gesamte Weltwissen in umfassender Form enthält. Insbesondere lokales Faktenwissen ist oft nicht in genügender Menge vorhanden, als dass Werkzeuge wie ChatGPT es korrekt wiedergeben könnten. Dies ist jedoch nur eine versionsspezifische Eigenschaft von ChatGPT und bereits der Versionswechsel von GPT3.5 auf 4.0 hat gezeigt, dass die Faktenkenntnis des Werkzeugs massiv zugenommen hat. Es ist somit zu erwarten, dass diese Schwäche von ChatGPT immer geringer wird, insbesondere seit ChatGPT über eine PLugin-Schnittstelle verfügt, mit welcher ChatGPT auf das Internet zugreifen und andere Programme und Wissensquellen nutzen kann.

"Intelligent sind aber die Menschen, die das programmiert haben"

• Worum geht es?
  In Diskussionen zu ChatGPT & Co. oder maschinellem Lernen im Allgemeinen ist teilweise die Aussage zu hören, dass letztendlich aber nicht die Maschine intelligent sei, sondern die Menschen, die dieses System programmiert bzw. entwickelt hätten.
• Was ist dazu zu sagen?
  Diese Zuordnung der Intelligenz scheint nicht mehr immer so klar vornehmbar zu sein. Es gibt zahlreiche Spiele, bei denen Computerprogramme irgendwann ihre Entwickler:innen geschlagen haben. Während bei vielen Spielen die Entwickler:innen einfach die bekannten Spielstrategien implementiert haben, war dies bei AlphaGo von Google im März 2016 nicht der Fall. AlphaGo hat durch maschinelles Lernen angefangen eine Spielstrategie zu verwenden, die der Menschheit zuvor unbekannt war. Somit stellt sich hier im begrenzten Rahmen eines Spiels die Frage, wo jetzt die Intelligenz liegt: Bei den Entwickler:innen oder beim neuronalen Netz, das diese Strategie durch gegen sich selbst Spielen entwickelt hat.

"ChatGPT ist nicht brauchbar - es hat keine Ahnung von Mathematik"

• Worum geht es?
  Oft wird die Nützlichkeit von Werkzeugen wie ChatGPT als tief eingeschätzt mit der Begründung, dass solche Werkzeuge ja nichts von Mathematik verstehen würden.
• Was ist dazu zu sagen?
  
  • Die Aussage ist in erster Näherung korrekt: Grosse Sprachmodelle wie ChatGPT sind keine Logikmaschinen, sondern Sprachgeneratoren. Sie errechnen ihre Antworten aufgrund statistischer Wahrscheinlichkeiten innerhalb der Texte, die sie beim Training erhalten haben.
  • Seit März 2023 ist es aber möglich, die Funktionalitäten von ChatGPT mittels Plugin zu erweitern. Seit Mitte Mai 2023 steht ChatGPT-Kunden gegen Bezahlung eine Version zur Verfügung, die ein Mathematica-Plugin für mathematische Themen konsultieren kann. Somit wird sich die Qualität der Antworten zu mathematischen Themen vermutlich bald verbessern.

"Die Nutzung von generativen Machine-Learning-Systemen muss deklariert werden."

Derzeit wird öfters die Forderung gestellt, Schülerinnen und Schüler müssten die Nutzung von generativen Machine-Learning-Systemen deklarieren oder gar protokollieren.

Das ist unter anderem deshalb schwierig, weil generative Machine-Learning-Systeme schon so in unseren Alltag integriert sind, dass ein digitales Arbeiten ohne die Nutzung solcher Systeme gar nicht vorstellbar ist.

"Texte von Sprachgeneratoren lassen sich leicht an der perfekten Sprache erkennen"

• Worum geht es?
  ...
• Was ist dazu zu sagen?
  Sprachgeneratoren können auf Befehl problemlos orthographische und grammatikalische Fehler einbauen und ihren Output an unterschiedliche Sprachstile anpassen.

"Prompt engineering ist der neue future skill"

• Worum geht es?
  Auf deutsch übersetzt heisst obige Aussage: "Das Formulieren der richtigen Eingabe für Textgeneratoren ist eine wichtige Fertigkeit für das Leben im Zeitalter von Textgeneratoren."
• Was ist dazu zu sagen?
  Wenn - was zu erwarten ist - Textgeneratoren zu alltäglichen Arbeitswerkzeugen werden, dann ist ihre effektive und effiziente Nutzung mit Sicherheit eine relevante Fertigkeit. Macht man sich jedoch bewusst, dass Textgeneratoren für viele Aufgaben eine ähnliche Werkzeug-Rolle übernehmen wie bisher Suchmaschinen, so werden die Beschränkungen einer reinen Textgeneratoren-Bedienkompetenz sichtbar: Beim prompt engineering handelt es sich wie beim Formulieren von Suchanfragen primär um Anwendungskompetenzen:
  • Die Anwendungskomptenz prompt engineering hat eine vergleichsweise kurze Halbwertszeit: Die produktspezifischen Eigenenheiten von Textgeneratoren dürften sich noch über längere Zeit rasch verändern. (Heute ist auch nicht mehr relevant, wie die Bedienung der Suchmaschine Altavista funktionierte.)
  • Ohne entsprechende Kompetenzen lassen sich die Antworten von Textgeneratoren nicht einschätzen: Wie bei Suchmaschinen können die Antworten von Textgeneratoren wichtige Hinweise geben und die eigene Arbeit erleichtern. Sie machen aber ein gewisses Orientierungswissen nicht überflüssig, denn ohne dieses können die Antworten weder inhaltlich noch formal auf ihre Richtigkeit und Zweckmässigkeit überprüft werden.

"Wir sperren ChatGPT."

• Worum geht es?
  Verschiedene Organisationen (z.B. Schulen) überlegen sich, ChatGPT zu sperren (weil der Dienst nicht datenschutzkonform ist oder weil es nicht in Prüfungen eingesetzt werden können soll).
• Was ist dazu zu sagen?
  Technisch gesehen ist die Sperrung von ChatGPT nicht einfach aus mindestens zwei Gründen:
  • Technische Sperren lassen sich meist relativ einfach umgehen. Wird der DNS-Eintrag für ChatGPT in einem lokalen Netzwerk gesperrt, so reicht bereits die Verwendung eines alternativen DNS-Servers, um den Dienst trotzdem erreichen zu können. Content-Sperrungen per Firewall lassen sich umgehen, indem ein anderer Dienst verwendet wird, der ChatGPT als Dienstleistung anbietet.
  • Sprachgeneratoren sind bald in allen möglichen Programmen und Webdiensten eingebaut: Es wird bald sinnlos sein, das Produkt ChatGPT zu sperren, weil zahlreiche alternative Dienste ähnliche Funktionalitäten aufweisen werden. So hat beispielsweise Microsoft angekündigt, GPT in M365 einzubauen. Es ist zwar zu erwarten, dass Microsoft ermöglichen wird, diese Funktionen in (Hoch-)schulumgebungen zentral abzuschalten, die Ankündigung zeigt aber trotzdem, dass Sprachmodell-Funktionalitäten bald allgegenwärtig verfügbar sein werden.

"ChatGPT ist nicht kreativ - es kombiniert nur bereits Bekanntes"

• Worum geht es?
  Oft wird die Nützlichkeit von Werkzeugen wie ChatGPT als tief eingeschätzt mit der Begründung, dass solche Werkzeuge ja nur bestehende Texte und damit bestehendes Wissen neu kombinieren würden. Echte kreative Antworten seien damit nicht möglich.
• Was ist dazu zu sagen?
  Zu dieser Aussage gibt es mindestens zwei Antworten:
  • Nicht immer sind kreative Antworten gefragt: Nicht alle Texte oder Antworten auf Fragen müssen kreativ sein. Sehr oft sind auch unkreative Antworten sehr hilfreich, die schlicht das bestehende Wissen adressatengerecht und präzise aufbereitet wiedergeben.
  • Rekombination ist nicht per se unkreativ: Die Aussage, es seien keine kreativen Lösungen möglich, wenn nur bestehende Komponenten neu kombiniert würden, ist in dieser Pauschalität mit Sicherheit falsch: Jeder Text besteht aus einer neuen Kombination der gleichen, schon sehr bekannten 26 Buchstaben unseres Alphabets. Trotzdem würden wir vielen neuen Texten bzw. ihren Autor:innen sehr wohl Kreativität zugestehen. Somit muss die Frage von Kreativität durch Rekombination genauer betrachtet werden.

"ChatGPT versteht nicht, was es schreibt"

• Worum geht es?
  Oft wird kritisiert, dass ChatGPT ja gar nicht verstehe, was es schreibe.
• Was ist dazu zu sagen?
  Nicht immer ist Verständnis nötig: Hier soll nicht die philosophische Frage diskutiert werden, was Verstehen bedeutet und ob Computersysteme je dazu fähig sein werden. Viel banaler: Es ist in Frage zu stellen, für welche Anwendungsszenarien denn überhaupt notwendig wäre, dass Chatroboter in der Lage wären, zu verstehen, was sie antworten. Anders formuliert: Weder ein Taschenrechner noch ein Lexikon verstehen ihre Antworten - trotzdem sind sie nützlich. Somit muss beim Vorwurf des fehlenden Verständnisses geprüft werden: Ist Verständnis notwendig?

"ChatGPT verbraucht viel Wasser / Energie"

• Worum geht es?
  Ein Preprint eines Papers vom April 2023 errechnet den Wasserbedarf sowohl zum Training als auch bei der Nutzung von Sprachmodellen wie GPT. In sozialen Medien wird oft die Aussage zitiert, dass eine Unterhaltung mit einem Chatroboter ca. einen halben Liter Wasser verbrauche. Auch andere Quellen sprechen von einem grossen Energiebedarf - aber meist ohne verständliche Vergleiche.
• Was ist dazu zu sagen?
  Der Energiebedarf von grossen Sprachmodell ist in der Tat ein Aspekt, der beachtet werden sollte ((mehr...). Zum konkreten "Wasserverbrauch" gibt es mindestens zweierlei zu sagen:
  • Das Wasser wird nicht verbraucht und ist je nach Standort zur Genüge vorhanden: Da das Wasser zur Kühlung verwendet wird, ist es nach der Verwendung wärmer, aber ansonsten nicht verunreinigt. Ob die Erwärmung des Wassers problematisch ist (z.B. für die Lebewesen im Wasser) oder gar genutzt werden kann (z.B. als Heizung) ist ortsabhängig.
  • Solche Aussagen sind ohne Vergleiche schwer einzuordnen. Ohne zu wissen, wie viel Energie für den Betrieb und Wasser zur Kühlung anderer Computeraktivitäten benötigt wird (Suchen mit einer Suchmaschine, Anschauen eines Videostreams) sind solche Aussagen nicht sehr verständlich für Laien.