In den Medien wird das jüngstens vom Unternehmen OpenAI frei gegebene Chatprogramm ChatGPT gehypt. Es hält den absoluten Rekord, in 5 Tagen eine Millionen Nutzer gewonnen zu haben, das kommt nicht von Ungefähr. Die KI-Kommunity ist großenteils verblüfft über die Sprachperformance und inhaltliche Tragfähigkeit. In Twitter werden unzählige lustige, verquere und ernste Anwendungen vorgestellt, denn jeder kann sich (noch) kostenlos auf der Webseite anmelden und mit dem Textgenerator in Kommunikation treten.
Das Programm recherchiert nicht im Internet, es ist aber gefüttert mit ganz viel Wikipedia und wichtigen Internetinhalten. Sein Wissensstand ist z.Zt. 2021 abgeschlossen, über Neueres kann es nicht informieren.
Wer in Google nach einer Fragestellung surft, erhält eine Menge Links angeboten, er/sie entscheidet dann nach der Qualität der Links und deren Inhalte, was er/sie übernimmt, und formuliert daraus die Beantwortung der Fragestellung.
Bei ChatGPT sucht ein Algorithmus mit stochastischen Rechenmodellen nach Ähnlichkeiten in seiner Wissensdatenbank und stellt über ein Sprachmodul aus den gewonnenen Wahrscheinlichkeiten einen Text zur Quellenausbeute zusammen. D.h. er recherchiert und formuliert zugleich ein stimmiges Ergebnis.
Der Unterschied beider Prozeduren ist gravierend und folgenreich für den Lernprozess von Studierenden. Wer „googelt“ lernt dabei, gute und schlechte Quellen zu trennen, und er braucht ein Metawissen, um die Nützlichkeit und Richtigkeit der Textinhalte abzuwägen. Im Zweifelsfall wird er weiter recherchieren, bis etwas aus seiner Sicht Taugliches gefunden wurde. Dabei wird Wissenserwerbskompetenz geschult. Dann erst geht es an das Formulieren eines Textes aus den gefundenen Quellen, der einen strukturierten sinnvollen Zusammenhang der gefundenen Inhalte sprachlich darstellen muss. Das schult die Ausdrucksfähigkeit des erworbenen Wissens.
Beim ChatGPT ist die Akquirierung des Wissenserwerbs dem Nutzer verborgen, er wird mit der fertigen Beantwortung der Fragestellung konfrontiert, die er nun ebenfalls nach ihrer Richtigkeit und Relevanz gegenüber der Frage beurteilen muss, um zu entscheiden, ob er das Ergebnis akzeptiert. Besonders nachteilig ist, dass er die Quellen nicht sieht. Man kann allerdings ChatGPT auffordern, im Text zu zitieren.
Ein Beispiel:
Ich habe ChatGPT eine echte Aufgabe aus meinem Seminar so gestellt, wie sie die Studierenden auf der Lernplattform vorgefunden haben.
„Beschreiben Sie in einem kleinen Beitrag mit dem Titel „BNE und GL“ wie die beiden Konzepte zueinander stehen, welches Ziel sie verfolgen und worin sie sich unterscheiden.“
Dafür sollten die Studierenden eine Einführung zum Globalen Lernen (GL) und einen wissenschaftlichen Text zum GL lesen, der sich auf den Orientierungsrahmen des GL bezieht. Beide Quellen standen auf der Lernplattform. Die „Bildung für nachhaltige Entwicklung“ (BNE) war im Vorfeld behandelt worden, sie sollten den Lernenden bekannt sein, während das GL als neuer Lerninhalt verstanden werden und mit der oben gestellten Aufgabe überprüft werden sollte.
Ich hatte 24 Arbeiten zu dieser Aufgabe erhalten und konnte nun die ChatGPT-Lösung gut mit den „menschgemachten“ Texte meiner Studierenden vergleichen.
Im ersten Anlauf hat ChatGPT das GL fälschlich als „globale Lernumgebung“ interpretiert, und so bei der Definition und dem Vergleich etwas „geschwafelt“, was aber nicht unsinnig war. Dieses Ergebnis hätte ich wahrscheinlich noch als „ausreichend“ durchgehen lassen, hätte im Feedback gepoltert, das der Student die Quellen nicht richtig gelesen hätte, dass er sich aber immerhin an das Thema angenähert habe. Ich habe dann die Frage noch einmal gestellt (regenerate response), und da waren beide Kürzel richtig erkannt, es wurde „richtig“ definiert, etwas mehr präzisiert und die Zielbeschreibung war ok, nur der Vergleich der Konzepte war schwach formuliert. Alles in korrekter Grammatik, gut geschrieben. In einem dritten Durchlauf habe ich ChatGPT noch gebeten zu zitieren, da wurden dann im unveränderten Text zwei vernünftige Quellen benannt.
Das ChatGPT-Ergebnis würde ich als schwach „befriedigend“ taxieren, weil der Text sehr knapp war, ihm fehlten alle Feinheiten, die aus fachlich engeren Quellen zu beziehen gewesen wären. Offensichtlich ist die Wissensbank sehr nah auf Wikipedia und auf Quellen großer Institutionen (Ministerien, UNESCO,..) aufgebaut, so dass die fachliche Finesse aus dem Filter fällt. Es gibt Arbeiten von Studierenden, die „meine“ Quellen auf der Lernplattform ignoriert haben, und sich nur auf Internetquellen bezogen haben. Diese Arbeiten ähneln der ChatGPT am meisten. Sprachlich ist das Maschinenprogramm besser als bei einem Drittel der eingereichten Arbeiten.
Ich habe noch die schlechteste Arbeit, die auch fehlerhafte Formulierungen enthielt dem ChatGPT zur Korrektur vorgelegt. Dabei hat sich in der Tat die Formulierung spürbar verbessert, aber kleinere Denkfehler, die auch das Resultat schlechter Formulierungskompetenz gewesen sein können, wurden dabei nicht korrigiert. Eben sowenig wurde fehlende Substanz ergänzt.
Fazit: ChatGPT ist nicht der wahnsinnige Problemlöser, aber doch ein Schreiberling fachlich mittelprächtiger, ordentlich formulierter Arbeiten. Für die Lernenden eine große Versuchung im leichten Gange Hausarbeitspunkte zu sammeln, für die Lehrenden eine schwierige Gratwanderung, den Maschinentext zu erkennen. Wir werden lernen müssen, damit umzugehen, denn diese Systeme werden nicht verschwinden, sondern immer besser, und sich zu Geschäftsmodellen auswachsen.
Die Lernenden sollten unbedingt dieses Werkzeug wie das Googeln nur als ein Vorentwurf ihrer Arbeiten betrachten, den Sie da vertiefen, wo es noch fehlt. Auch das ergibt eine ganz wesentliche Lernkompetenz.
Die Lehrenden müssen die schriftlich abverlangten Fragestellungen weiter präzisieren, vom Wikipediahorizont entfernen und quellenmäßig so einschränken, dass der allgemeine Wissenszugriff dafür nicht ausreicht. Außerdem wird vielleicht die mündliche Prüfung wieder weiter an Gewicht gewinnen – und hoffentlich nicht der Multiple-Choice-Test.
