ChatGPT im Mathe-Unterricht:
Chancen und Risiken

Überblick

Was ist ChatGPT?

ChatGPT ist ein moderner Chatbot. Man kann ihm komplexe Fragen oder Aufgaben stellen und erhält innerhalb weniger Sekunden eine Antwort. Der größte Unterschied zu früheren Chatbots ist dabei, dass sich eine Unterhaltung mit ChatGPT wie ein Gespräch mit einem Menschen anfühlt. Man kann jederzeit nachfragen, wenn man ein Detail der Antwort nicht versteht oder mehr über einen Teilaspekt erfahren möchte. Man kann mit dem Chatbot sogar Diskussionen¹ führen.

ChatGPT ist sicherlich der prominenteste Vertreter dieser neuen Art von Chatbots, aber er ist nicht der einzige. Zum Beispiel bietet Google den Chatbot Bard an. Meta (Facebook) hat mit Llama 2 vor kurzem sogar eine Open Source Version veröffentlicht.

Diese Chatbots können nicht nur Fragen beantworten, sondern auch E-Mails, Songtexte oder Gedichte schreiben. Sie können die Inhalte von Büchern oder Filmen zusammenfassen und sogar Computerprogramme in praktisch jeder verfügbaren Programmiersprache entwickeln. Welche Möglichkeiten ChatGPT und die anderen Chatbots im Mathe-Unterricht bieten, sehen wir uns im Abschnitt ChatGPT im Mathe-Unterricht an.

Wie funktioniert ChatGPT?

Das Herzstück von ChatGPT bildet das sogenannte Large Language Model (LLM). Dabei handelt es sich um ein neuronales Netz, das auf der Transformer-Architektur aufbaut, die 2017 von Forschern von Google entwickelt wurde. Das LLM, das in ChatGPT verwendet wird, ist aktuell GPT-3 oder GPT-4. GPT-4 ist die neueste Version. Es erzielt bessere Ergebnisse als GPT-3, ist aber langsamer und teurer. GPT steht übrigens für Generative Pre-Trained Transformer.

Da es mit den vielen Abkürzungen schnell verwirrend werden kann, fasse ich noch einmal kurz den vorigen Absatz zusammen. ChatGPT ist ein Chatbot, der auf einem Large Language Model (LLM) aufbaut. Im Falle von ChatGPT heißt das LLM, das aktuell verwendet wird, entweder GPT-3 oder GPT-4. GPT-4 steht übrigens nur zahlenden Usern zur Verfügung (20 USD pro Monat). GPT-3 kann kostenlos verwendet werden.

Ein LLM kann sowohl zur Übersetzung als auch zur Erzeugung von Texten verwendet werden. Bei einem Chatbot kommt die Texterzeugung zum Einsatz. Dabei ist die Funktionsweise überraschend einfach. Ein LLM wird mit einem Text gefüttert und versucht, das nächste Wort² zu erraten.

Um das besser zu verstehen, wollen wir uns ein konkretes Beispiel ansehen. Wenn man einem Deutsch sprechenden Menschen folgenden Satz gibt: "Der Hund ist der beste …" und ihn bittet, diesen Satz zu vervollständigen, wird die Antwort in den meisten Fällen folgende sein: "Der Hund ist der beste Freund des Menschen." Ein Large Language Model (LLM) funktioniert sehr ähnlich. Wenn man es mit dem Text "Der Hund ist der beste …" füttert, erhält man (in den meisten Fällen) als Antwort "Freund". Dieses Wort wird nun an den ursprünglichen Text angehängt und dieser neue Text wieder in das LLM gefüttert (siehe Abbildung 2). So entstehen nach und nach Sätze und ganze Texte.

Trotz dieses überraschend einfachen Prinzips können damit beeindruckende Resultate erzielt werden, wie ChatGPT und ähnliche Chatbots eindrucksvoll beweisen.

Bevor ein LLM allerdings in der Lage ist, das nächste Wort eines Textes zu bestimmen, muss es zuerst trainiert werden. Bei einem großen LLM ist dies ein sehr aufwendiger und teurer Prozess, bei dem ein Supercomputer über mehrere Wochen hinweg Milliarden von Texten analysiert. Bei ChatGPT wurden zum Beispiel für das Training eine Kopie des gesamten Internets und die Texte von hunderttausenden Büchern verwendet.

Übrigens lernt ein LLM die Trainingsdaten nicht einfach auswendig. Vielmehr versucht es, Muster in den Texten zu finden. Vergleichbar ist das mit der Art, wie wir Menschen lernen. Wenn wir uns zum Beispiel besonders für die Französische Revolution interessieren und mehr darüber erfahren möchten, werden wir verschiedene Bücher und Artikel zu diesem Thema lesen. Manche Aspekte der Revolution, wie der Einsatz der Guillotine, kommen in den Texten immer wieder vor. Diese werden wir uns besonders gut merken. Andere Punkte sind weniger relevant und tauchen vielleicht nur ein einziges Mal als Fußnote auf. Diese werden wir schnell wieder vergessen haben. Ein LLM lernt auf ganz ähnliche Weise. Je öfter eine bestimmte Information in den Trainingsdaten auftaucht, desto wichtiger wird sie vom LLM eingestuft.

Chatbots: Kosten und Verfügbarkeit

ChatGPT (OpenAI)

ChatGPT kann direkt über die Website von OpenAI verwendet werden. Nachdem man sich angemeldet hat, kann man ChatGPT kostenlos nutzen (allerdings mit der älteren Version GPT-3). Die neue, verbesserte Version GPT-4 steht nur zahlenden Usern zur Verfügung (20 USD pro Monat). In der Bezahlversion kann man außerdem sogenannte Erweiterungen nutzen. Zum Beispiel gibt es eine Erweiterung, die es ChatGPT ermöglicht, den Inhalt von PDF-Dokumenten zusammenzufassen oder Bilder zu zeichnen.

Neben der Web-Version gibt es auch eine App für Android und iOS. ChatGPT Vision (siehe Abschnitt Was ist ChatGPT Vision?) kann in Österreich bisher nur über die ChatGPT App genutzt werden und steht nur zahlenden Usern zur Verfügung.

Bard (Google)

Bard kann man ebenfalls über den Browser nutzen. Man muss nur auf diese Seite gehen und sich mit einem Google-Account (Gmail-Account) anmelden. Bei Bard gibt es keine Bezahlversion. Alle Features sind kostenlos. Allerdings ist die Qualität der Antworten bei Bard oft merklich schlechter als bei ChatGPT.

Bing (Microsoft)

Die Bing-Suche von Microsoft verfügt ebenfalls über einen integrierten Chatbot, den man kostenlos nutzen kann. Da Microsoft mit OpenAI zusammenarbeitet, verwendet dieser Chatbot ebenfalls GPT-4. Im Unterschied zu ChatGPT kann man hier die neue, bessere Version sogar kostenlos nutzen. Grundsätzlich sollte der Bing-Chatbot damit die gleiche Qualität bei den Antworten erzielen wie ChatGPT. Unserer persönlichen Erfahrung nach sind die Ergebnisse allerdings im Vergleich zu ChatGPT eher enttäuschend.

Kann ChatGPT rechnen?

Die kurze Antwort ist Jein. Wie im letzten Abschnitt beschrieben, ist ChatGPT im Großen und Ganzen nur ein Algorithmus, der versucht, das nächste Wort eines Textes zu erraten. Im Unterschied zu einem Taschenrechner hat es keine fixen Regeln einprogrammiert, wie man eine Addition, eine Multiplikation oder eine Ableitung ausführt.

Allerdings kommen in den Rohdaten, mit denen ChatGPT trainiert wurde (also einer Kopie des gesamten Internets), auch unzählige mathematische Texte vor. Entsprechend hat ChatGPT gelernt, dass das nächste Wort des Textes "2+2=" die Zahl "4" ist. Es liefert also das richtige Ergebnis, wenn man "2+2=" eintippt. Trotzdem beherrscht ChatGPT keine Mathematik im eigentlichen Sinne. Es ist "nur" ein Programm zur Texterzeugung.

Umso mehr überrascht es, wie gut ChatGPT mathematische Aufgaben lösen kann – von der einfachen Addition bis zum Integral (siehe Abbildung 3). Selbst bei vielen Matura-Aufgaben liefert es die richtige Antwort.

Dennoch ist bei den Antworten Vorsicht geboten. Da ChatGPT – im Gegensatz zu einem Taschenrechner – keinen strengen mathematischen Regeln folgt, sondern immer nur das nächste Wort (bzw. die nächste Zahl oder das nächste mathematische Symbol) ermittelt, können Fehler auftreten. Besonders mit komplexen Aufgaben, die mehrere Teilschritte erfordern, tut sich ChatGPT noch relativ schwer.

Wie bereits im letzten Abschnitt erwähnt, ist ChatGPT aktuell in zwei Versionen verfügbar – einmal mit dem älteren, schnelleren Large Language Model GPT-3 und einmal mit dem neueren, langsameren GPT-4. Die mathematischen Fähigkeiten von GPT-4 sind deutlich besser als jene von GPT-3. Mit dem nächsten Update wird es vermutlich eine weitere Verbesserung geben.

Da ChatGPT ein Programm zur Texterzeugung ist, kann es nicht direkt Diagramme oder Grafiken zeichnen. Allerdings kann man mit ein paar Tricks ChatGPT dazu bringen, Text zu erzeugen, der in ein Diagramm übersetzt werden kann. Für die ChatGPT-Schnittstelle, die in unser Miranda App eingesetzt wird, haben wir eine solche Erweiterung entwickelt (siehe Abbildung 4).

Was ist ChatGPT Vision?

Seit einem Monat kann ChatGPT auch sehen. Dank ChatGPT Vision hat man nun die Möglichkeit, Bilder hochzuladen und dem Chatbot dazu Fragen zu stellen. Zum Beispiel kann man ein Foto eines Hundes hochladen und ChatGPT fragen, um welche Rasse es sich dabei handelt. (Anmerkung: Dieses Feature ist im Moment (Oktober 2023) nur in der ChatGPT App (Android, iOS) und nur für zahlende User verfügbar.)

Man kann ChatGPT Vision auch nutzen, um Mathe-Aufgaben zu lösen. Zum Beispiel kann man einfach ein Integral aufschreiben, abfotografieren und dann von ChatGPT lösen lassen, wie das nächste Bild zeigt.

Sogar ganze Matura-Aufgaben können mit diesem neuen Feature innerhalb weniger Sekunden gelöst werden, wie wir in der nächsten Abbildung sehen.

Reine Textaufgaben kann ChatGPT bereits in vielen Fällen fehlerfrei lösen. An Aufgaben mit Diagrammen oder Grafiken scheitert es allerdings in den meisten Fällen noch. Das liegt daran, dass ChatGPT für die Interpretation von User-Eingaben in Textform entwickelt wurde. Es kann selbst keine Bilder verarbeiten. Für die Interpretation von Fotos, Grafiken und Diagrammen ist es auf zusätzliche Programme angewiesen.

Zum Beispiel wird das Hundebild aus Abbildung 5 zuerst von einer Bilderkennungssoftware analysiert. Diese erzeugt daraus eine Bildbeschreibung. Für das Hundebild könnte das Ergebnis so aussehen: "Hund, Raubtier, Labrador Retriever, Halsband, blond, Schnauze, Leine, Schwanz, Pfote, Erde, Straße, Gras". Diese Liste von Wörtern wird an ChatGPT weitergereicht, das damit versucht, die Frage nach der Hunderasse zu beantworten.

Bei dem Integral aus Abbildung 6 und der Textaufgabe aus Abbildung 7 sieht der Ablauf etwas anders aus. Hier wird der Text direkt als solcher erkannt, ausgelesen und dann an ChatGPT weitergereicht. Der Chatbot kann nun den Text interpretieren und die jeweilige Aufgabe lösen.

Bei einer Mathe-Aufgabe mit einem Diagramm führen beide Ansätze nicht zum Ziel, da hier meist die exakte Lage eines Funktionsgraphen innerhalb des Koordinatensystems entscheidend für die Lösung ist. Allerdings ist es vermutlich nur eine Frage der Zeit, bis Chatbots auch solche Aufgaben korrekt lösen können.

ChatGPT im Mathe-Unterricht

Richtig im Unterricht eingesetzt, kann ChatGPT eine sinnvolle Ergänzung sein:

• ChatGPT kann innerhalb von Sekunden Fragen beantworten, die beim Lernen auftauchen.
• Man kann den Chatbot zu Rate ziehen, wenn einmal die Angabe einer Aufgabe nicht klar verständlich ist.
• Mit ChatGPT lässt sich die eigene Lösung bzw. der eigene Lösungsweg leicht überprüfen.
• Man kann sich Formeln, deren Bedeutung und deren Anwendung erklären lassen.
• Selbst die oft etwas kryptischen Bezeichnungen des Taschenrechners (z.B. nCr) und deren Verwendung können von ChatGPT erklärt werden. Dabei kann der Chatbot auch auf die verschiedenen Geräte und deren Eigenheiten eingehen (zum Beispiel wie man eine Gleichung mit dem TI-Nspire oder GeoGebra löst).
• Man kann ChatGPT sogar selbst als Taschenrechner-Ersatz verwenden und damit Integrale berechnen oder Gleichungen lösen. In unserer Miranda App kann man sich sogar die Graphen von Funktionen aufzeichnen lassen (siehe Abbildung 4).

Für den richtigen Einsatz müssen allerdings einige Aspekte beachtet werden, die wir uns nun ansehen wollen.

Die richtigen Prompts verwenden

Prompts werden die User-Eingaben genannt, mit denen man ChatGPT Fragen stellt. Damit ChatGPT eine sinnvolle Antwort liefern kann, benötigt es eine klare Anweisung.

Glücklicherweise ist ChatGPT sehr fehlertolerant. Der Chatbot wurde so trainiert, dass er stets versucht, die eigentliche Bedeutung einer User-Anfrage zu erfassen. Weder Rechtschreib- noch Grammatikfehler stellen für den Chatbot ein Problem dar, wenn man zumindest noch erahnen kann, was gemeint ist.

Dennoch erhalten wir immer wieder Beschwerden zu fehlerhaften ChatGPT-Antworten von unseren Usern, bei denen das eigentliche Problem die kryptische oder unzureichende Formulierung der User-Eingabe war.

Unsere Tipps für die besten Resultate:

• Klar formulieren, was man von ChatGPT möchte. Statt einem knappen "Ableitung?" besser einen ganzen Satz eintippen, z.B. "Was ist die Ableitung in der Mathematik?".
• Mit dem Zusatz "Bitte eine kurze und einfache Erklärung" verhindert man, dass sich ChatGPT in einer komplizierten und langen Antwort verliert (etwas, was es sehr gerne macht). In der Miranda App wird dieser Zusatz übrigens automatisch vor jeder Konversation eingefügt.

Halluzinationen und falsche Antworten

Man spricht im Zusammenhang mit einem Chatbot von Halluzinationen, wenn dieser beginnt, Dinge zu erfinden, die objektiv falsch sind, aber richtig klingen.

Beim Lösen von mathematischen Aufgaben kommt es immer wieder zu solchen Halluzinationen. Dies kann passieren, wenn ChatGPT die Angabe nicht korrekt interpretieren kann, aber dennoch versucht, die Aufgabe zu lösen. Das Gemeine an solchen Antworten ist, dass sie auf den ersten Blick plausibel und logisch erscheinen. Besonders für Schüler und Schülerinnen ist es oft nicht einfach, zu beurteilen, ob die Ausgabe von ChatGPT tatsächlich stimmt.

Zum Glück wird die Genauigkeit von ChatGPT (und vergleichbaren Chatbots) mit jedem Update besser. Damit sinkt auch die Gefahr, eine falsche Antwort zu erhalten. Dennoch sollte man immer im Hinterkopf behalten, dass ChatGPT nicht wie ein Taschenrechner funktioniert, der bei richtiger Eingabe immer das korrekte Ergebnis liefert. Bei ChatGPT gibt es diese Garantie nicht.

Schummeln bei Hausübungen und Prüfungen

Wir haben bereits im Abschnitt Was ist ChatGPT Vision? gesehen, dass man mit ChatGPT ganz einfach Hausübungen und selbst Matura-Aufgaben lösen kann. Man muss nur den Angabe-Text abfotografieren. Den Rest übernimmt ChatGPT.

Damit eignet sich ChatGPT natürlich hervorragend zum Schummeln. Leider gibt es momentan noch keinen vernünftigen Ansatz, um dies zu verhindern. Selbst kreativ formulierte Angaben stellen für die neueste Version von ChatGPT kein Problem mehr dar. Einzig Aufgaben mit Diagrammen oder Grafiken können in vielen Fällen noch nicht automatisch gelöst werden.

Wohl oder übel muss man sich hier mit der neuen Technologie arrangieren. Bei Miranda arbeiten wir zum Beispiel gerade an einer Möglichkeit, wie Schüler und Schülerinnen Aufgaben zusammen mit ChatGPT lösen können, ohne dass ihnen der Chatbot sofort die ganze Lösung verrät.

Kann man erkennen, ob Hausübungen mit ChatGPT gelöst wurden?

Die kurze Antwort lautet: "Im Moment nicht". (Auch wenn es etliche Online-Tools gibt, die das Gegenteil behaupten). OpenAI, die Firma hinter ChatGPT, hatte kurzzeitig eine solche Software auf seiner Website angeboten, aber bereits nach wenigen Monaten aufgrund der geringen Trefferquote wieder entfernt.

Es wird daran gearbeitet, KI-generierte Texte mit einer Art Wasserzeichen auszustatten. Zum Beispiel könnte ein Chatbot bestimmte Wortkombinationen besonders häufig verwenden. Wenn diese in einem Text öfter auftreten, kann das ein Indikator dafür sein, dass der Text nicht von einem Menschen verfasst wurde. Allerdings funktioniert diese Methode nur bei längeren Texten gut. Außerdem werden findige Programmierer, sobald eine solche Technologie verfügbar ist, innerhalb weniger Wochen Tools entwickeln, die dieses Text-Wasserzeichen wieder entfernen. Wie beim Kopierschutz oder Wasserzeichen für Bilder wird es ein ewiges Katz- und Mausspiel bleiben.

Bei kurzen Texten ist es besonders schwer festzustellen, ob ein Chatbot der Verfasser war, da die Datenmenge meist nicht ausreicht, um darin ein brauchbares Wasserzeichen zu verstecken. Leider sind die meisten Lösungen von Mathe-Aufgaben relativ kurz.

Es gibt allerdings eine Eigenheit von ChatGPT, die zumindest im Moment als Unterscheidungsmerkmal dienen kann. ChatGPT verwendet nämlich in seinen Antworten oft einen Punkt und kein Komma als Dezimaltrennzeichen. Sollte also eine Zahl mit einem Punkt auftauchen, könnte dies ein Indiz sein, dass hier ein Chatbot mitgeholfen hat.

Ausblick

Im letzten halben Jahr war der Hype um ChatGPT und die anderen modernen Chatbots riesig. Innerhalb weniger Monate hatten sich bereits über 100 Millionen User für ChatGPT registriert. Auch wenn viele User den berühmten Chatbot nur einmal testen wollten, verwenden doch immer mehr Menschen ChatGPT in ihrem beruflichen und privaten Alltag. Die Technologie hinter diesen Chatbots befindet sich noch in den Kinderschuhen. Trotzdem zeigt sich schon deutlich, welch enormes Potential darin steckt. Immerhin erlaubt sie es uns, auf neue und äußerst effiziente Weise auf Wissen zuzugreifen, Texte zu erstellen und Daten zu verarbeiten - nämlich in Dialogform über unsere natürliche Sprache.

Längst sind ChatGPT und die anderen Chatbots auch in der Schule angekommen. Wir können davon ausgehen, dass sie den schulischen Alltag in den nächsten Jahren maßgeblich verändern werden. Die Möglichkeiten sind dabei vielfältig. Im Abschnitt ChatGPT im Mathe-Unterricht haben wir bereits verschiedene Anwendungsfälle für den Mathematikunterricht aufgelistet.

ChatGPT ist bereits heute in der Lage, die meisten Textaufgaben zu lösen. Nur Aufgaben mit Diagrammen und Grafiken bereiten dem Chatbot noch größere Probleme. Es ist aber nur eine Frage der Zeit, bis ChatGPT auch solche Aufgaben korrekt beantworten kann. Dennoch kann es immer wieder vorkommen, dass die vorgeschlagenen Lösungen von ChatGPT oder einem anderen Chatbot falsch sind. Wir empfehlen daher, Schüler und Schülerinnen über die Funktionsweise von ChatGPT aufzuklären und zu unterstreichen, dass es bei einem Chatbot - im Gegensatz zu einem Taschenrechner - keine Garantie gibt, dass das Ergebnis korrekt ist.

Leider kann ChatGPT auch zum Schummeln bei Hausübungen und Prüfungen verwendet werden. Wie wir in Abschnitt Was ist ChatGPT Vision? gezeigt haben, muss man die Aufgabe nur noch abfotografieren. Den Rest übernimmt ChatGPT. In den kommenden Monaten und Jahren werden wir (Schulen, Lehrkräfte, Hersteller von Lernsoftware usw.) uns überlegen müssen, wie man Hausübungen in Zukunft sinnvoll gestalten kann, sodass Schüler und Schülerinnen diese nicht einfach von einem Chatbot erledigen lassen können. Bei Miranda arbeiten wir bereits an einem solchen Ansatz, bei dem Schüler und Schülerinnen Aufgaben zusammen mit ChatGPT lösen können, ohne dass ihnen der Chatbot sofort die ganze Lösung verrät.

Wenn Ihnen dieser Artikel gefallen hat, können Sie ihn auch gerne mit Ihren Kollegen und Kolleginnen teilen. Wir würden uns darüber sehr freuen. 😀

Feedback bitte an hello@miranda.works.

Fussnoten