Gewisse Prüfungsformate sind künftig anfällig für Betrug

Erkennung von Betrug wird immer schwieriger

Schriftliche Hausaufgaben und Prüfungen am Computer ohne entsprechende Aufsicht und/oder Gegenmassnahmen können künftig vermehrt mit Hilfe von Textgeneratoren gelöst werden. Entsprechende Beispiele sind bereits zahlreich auf dem Internet zu finden.
  • Traditionelle Plagiatserkennungssoftware verliert massiv an Bedeutung
    Plagiatserkennungssoftware erkennt derzeit nur Textstellen, die praktisch wortwörtlich von einer anderen Quelle übernommen worden sind, jedoch nicht Texte, die mit einem Textgenerator erstellt worden sind. Stehen Textgeneratoren zur Verfügung, werden schlaue Studierende und Schüler:innen diese so einsetzen, dass Plagiatserkennungssoftware nicht mehr anschlagen wird. Damit verliert sie an Bedeutung.
  • Automatisierte Erkennung von computergenerierten Texten wird immer schwieriger und unzuverlässiger
    Es gibt zwei Gründe, warum die automatisierte Erkennung von computergenerierten Texten immer schwieriger wird:
    • Textgeneratoren werden immer besser in der Imitation typisch menschlicher Schreibweise:
      Die Systeme zur Generierung von Texten und solche zur Erkennung entsprechend computergenerierter Texte werden sich gegenseitig hochschaukeln: Sobald ein zuverlässiges Erkennungssystem existiert, kann dies zum Training noch menschenähnlicherer Sprachgenerierung genutzt werden.
    • Legitime Nutzung von Textverarbeitung kann zu Falsch-Positivmeldungen führen:
      Die Nutzung von Rechtschreibekorrektur und Grammatikververbessungssystemen führt dazu, dass auch von Menschen geschriebene Texte maschinentypische Regelmässigkeiten enthalten können, was die Gefahr erhöht, menschengeschriebene Texte als computergeschrieben einzuschätzen.

Nachweis von Betrug ist sehr herausfordernd

Selbst wenn eine Erkennungssoftware einen Text als maschinengeschrieben taxiert, ist dies noch kein Beweis. Es dürfte schwerfallen, einen entsprechenden Betrug juristisch rekursfest nachzuweisen, da im Gegensatz zu einem Plagiatsfall kein Ursprungstext als Beweis präsentiert werden kann und Sprachgeneratoren selbst bei identischen Prompts unterschiedliche Antworten liefern.

Mögliche Gegenmassnahmen

  • Individuelle Fragestellungen schützen nicht mehr vor möglichem Betrug
    Vor dem Aufkommen von Textgeneratoren hat es gereicht, statt allgemeiner sehr individuelle Fragestellungen zu formulieren ("Beschreibe den Feldzug von Napoleon aus der Sicht eines russischen Bauern") weil die Antwort auf exakt diese Fragestellung noch nicht auf dem Internet verfügbar war. Heutige Textgeneratoren liefern jedoch auch auf solche Fragestellungen Antworten.
  • Mündliche Leistungsnachweise sind eine mögliche Massnahme gegen Betrug mit ChatGPT & Co.
    Lerngespräche oder sonstige mündliche Leistungs- oder Kompetenznachweise sind eine sichere Möglichkeit, das Vorspiegeln eigener Kompetenzen mit Softwaresystemen zu verhindern.
    (Quellen und Zitate siehe Biblionetz:a01517)
  • Engere Betreuung von Schüler:innen und Studierenden hilft gegen den Betrug mit ChatGPT & Co.
    (Quellen und Zitate siehe Biblionetz:a01474)
  • Prozessportfolios können helfen, die Entstehung von Werken zu dokumentieren
    Wenn Schüler:innen ihren Lernprozess dokumentieren und auch jemand Zeit hat, diese Dokumentation anzuschauen, so mindert dies das Risiko, dass grosse Teil der Aufgabe mit Sprachgeneratoren erledigt werden.
  • Bezugnahme auf konkrete Fallbeispiele aus dem Unterricht hilft gegen Betrug mit ChatGPT & Co. NEW
    Wenn bei der Leistungsüberprüfung auf konkrete Fallbeispiele aus dem Unterricht Bezug genommen werden kann, so kennen Sprachgeneratoren den Kontext zu wenig, um präzise Antworten zu geben. Dieses Vorgehen ist aber nicht in jedem Themengebiet möglich und erfordert bei jeder Prüfungsdurchführung andere Fallbeispiele.

Einschätzung der stufenspezifischen Bedeutung

Folge Kindergarten Primar Sek I Gymnasium Berufsschule PH
Gewisse Prüfungsformate sind künftig anfällig für Betrug minus minus plus plus plus plus

Unserer Einschätzung nach ist Betrug mit Textgeneratoren erst ab der Sekundarstufe I relevant, da die Schüler:innen entweder vorher keine entsprechenden Aufgaben und Prüfungen lösen müssen oder aber die unerlaubte Nutzung von Textgeneratoren rasch erkannt würde, da die Schüler:innen noch nicht gelernt haben, entsprechende Aktivitäten zu verschleiern.

Weiterführende Informationen

Kommentare

 
PHSZ Logo

Die Website mia.phsz.ch/LLM ist eine seit Dezember 2022 laufend erweiterte Sammlung von Einordnungen der Professur "Digitalisierung und Bildung" der Pädagogischen Hochschule Schwyz zur Frage, welche Auswirkungen Textgeneratoren wie ChatGPT auf die Schule haben.

Lizenz: Die Website steht unter einer CC-BY-ND-Lizenz, Bilder und Texte dürfen somit unter Quellenangabe an anderen Orten verwendet werden.

Rückmeldungen: Bemerkungen und Hinweise sind willkommen: beat.doebeli@phsz.ch

Zitationsvorschlag: Döbeli Honegger, Beat (2023). ChatGPT & Co. und Schule. Einschätzungen der Professur "Digitalisierung und Bildung" der Pädagogischen Hochschule Schwyz. https://mia.phsz.ch/LLM (abgerufen am 26 Nov 2023)
This page was cached on 26 Nov 2023 - 11:51.