KI-Einsatz bei Prüfungen

Um einen Täuschungsversuch rechtssicher und pädagogisch klug nachzuweisen, sollten Lehrkräfte nur bei Vorliegen von bestimmten Indizien aktiv werden, sagt Hans-Michael Lenz, Geschäftsführer der DBV-Service GmbH, eines Tochterunternehmens des Deutschen Bauernverbandes (DBV), das den Mitgliedern der 18 Landesbauernverbände ein breit gefächertes Serviceangebot bereitstellt: „Es finden sich zum Beispiel sachliche Fehler und/oder mehrere Schreibstile in der Arbeit oder es werden im Unterricht nicht behandelte Lösungswege und Quellen aufgezeigt.“ Auch die Versionierung des Dokumentes verrate, dass große Mengen Text innerhalb kürzester Zeit eingefügt wurden. In einem strukturierten Prozess werden dabei sämtliche Änderungen an Dateien oder Dokumenten systematisch erfasst und dokumentiert. In der Regel würden dann ein oder mehrere KI-Detektoren eingesetzt, um den Verdacht zu erhärten. Lenz meint: „Leider taugen diese Detektoren wenig, da sie oft genug falsch positive Bewertungen auswerfen,
dafür bieten sie alle eine Humanisierung des geprüften Textes an.“

Bei begründetem Verdacht auf Täuschung helfen seiner Ansicht nach nur simple Nachfragen: „Wie bist du auf diesen Lösungsansatz gekommen? Welche Literatur hast du hier verwendet?“ Dies führe in der Regel dann zur Wahrheit. Zur Verhinderung von Täuschungen bei Onlineprüfungen gibt es in den USA bereits eine spezifische „Proctoring Software“, weiß Lenz. Sie überwacht Prüflinge über Webcam, Mikrofon und Bildschirmfreigabe, um Täuschungsversuche von zu Hause aus zu verhindern. Dabei sperrt sie oft den Browser oder analysiert das Verhalten per KI. Diese Software werde in Amerika bereits in „Certified-Crop-Adviser-Prüfungen (CCA)“, reinen Online-Prüfungen für die Bereiche Pflanzenproduktion, Nährstoffmanagement, Boden- und Wassermanagement sowie Pflanzenschutz, angeboten.

Der Gebrauch von KI im Prüfungsprozess darf nicht verteufelt werden, sind sich viele Experten einig. Wie aber könnte eine neue Prüfungskultur unter den Bedingungen von KI konkret aussehen? Damit hat sich auch der Lehrer Hendrik Haverkamp eingehend befasst. Er ist Koordinator für Digitalität am Evangelisch Stiftischen Gymnasium in Gütersloh, Mitgründer des Instituts für zeitgemäße Prüfungskultur, Co-Leiter des Virtuellen Kompetenzzentrums KI und Co-Gründer von Fiete.ai., einem KI-basierten Aufgabenmanagement-System, das 2024 mit dem Didacta Start-up-Award ausgezeichnet wurde. In der Nutzung von Hilfsmitteln bei Prüfungen sieht er zunächst auch keinen grundlegenden Bruch zu bisherigen Praktiken. So sei vor allem in Mathematikprüfungen die Anwendung von Hilfsmitteln teilweise seit Jahrzehnten schon gang und gäbe; der Taschenrechner ist hier nur ein Beispiel. Aus den Matheprüfungen lässt sich aber noch etwas anderes lernen: Hier genüge es nicht, einfach nur ein Ergebnis zu präsentieren, vielmehr müsse auch der Lösungsweg, der zum Ergebnis führte, verdeutlicht werden, so Haverkamp.

Dasselbe Prinzip sei auch auf den KI-Einsatz anzuwenden: In einer Klassenarbeit sollen Schülerinnen und Schüler beispielsweise einen Chatbot zum Finden von Argumenten nutzen, müssen jedoch den Output der KI kritisch reflektieren und begründen, warum sie bestimmte Formulierungen der KI dem eigenen Text vorgezogen haben. Bewertet werden dann der hybrid erstellte Text und die Reflexion der verwendeten KI-Bestandteile. Ergänzt werde die Leistungsüberprüfung durch die Abgabe des Prompts, welcher die konkreten Anweisungen an die KI aufzeigt, durch Screenshots von den KI-generierten Antworten sowie dem vollständig fertiggestellten KI-Text, so Haverkamp. Bei diesem prozessorientierten Ansatz sehen Fachleute, auch wenn sie diesem grundsätzlich zustimmen, weiterhin ein schwerwiegendes methodisches Problem. Denn die KI könnte schließlich auch alle Prozessschritte beim Erstellen einer Arbeit von einer KI planen und ausformulieren.

Einigkeit herrscht in der Debatte um den KI-Einsatz, dass für die Durchführung von Prüfungen mit KI-Einsatz zum einem mehr Kompetenzen notwendig sind – neben den eigentlichen fachlichen Inhalten der Prüfung auch das Wissen um den konstruktiven, aber auch kritischen Einsatz der KI-Instrumente. Das können technische Fähigkeiten zur Programmierung, zu Algorithmen und zum maschinellen Lernen sein, aber auch wissenschaftstheoretische und ethische Kompetenzen. Daher müsse in zukünftigen Prüfungen auch die KI-Technologie selbst Teil der Prüfung sein, nicht nur der KI-generierte Inhalt. Eine Möglichkeit besteht darin, so Joscha Falck, Lernenden während der Prüfung einen KI-Tutor zur Seite zu stellen, und dessen Nutzung in der Aufgabe einzufordern. Bewertet würden dann die Nutzungs-, Bewertungs- und Reflexionskompetenzen im Umgang mit der KI. Alternativ könne sogar das KI-Feedback in Prüfungen integriert werden, um Lernende zur bewussten Überarbeitung eigener Ergebnisse und zur Reflexion der jeweiligen Rückmeldung aufzufordern.

Auch viele Bildungseinrichtungen haben bereits reagiert und die Anwendung von KI grundlegend geregelt. Zwei Beispiele:

Die Universität Konstanz hat dabei, wie sie es nennt, „dynamische Leitlinien“ implementiert. Lehrende und „Modulverantwortliche“ legen vor diesem Hintergrund für jede Prüfungsleistung individuell fest, in welchem Umfang KI-Systeme als Hilfsmittel erlaubt sind. Die Erlaubnis richtet sich nach der zu prüfenden Kompetenz. Steht das Erlernen grundlegender wissenschaftlicher Schreibfertigkeiten im Fokus, ist der Einsatz zumeist eingeschränkt. Soll die kritische Evaluierung von KI-Ergebnissen geprüft werden, ist er dagegen erwünscht. Für Bachelor- und Masterarbeiten gelten gesonderte Richtlinien des Zentralen Prüfungsamts, die in der Regel eine detaillierte Offenlegung und Kennzeichnung aller verwendeten KI-Werkzeuge fordern. KI-generierte Texte dürfen die eigenständige Auseinandersetzung mit wissenschaftlicher Literatur nicht ersetzen. Die inhaltliche Verantwortung verbleibt vollständig beim Prüfling.

Die Fachschule für Landwirtschaft am Berufsbildungszentrum (BBZ) Bad Segeberg ist mit dem Aufkommen der KI komplett dazu übergegangen, Hausarbeiten beziehungsweise Facharbeiten ausschließlich fallbezogen von den Schülerinnen und Schülern schreiben zu lassen. „Somit ist gewährleistet, dass diese sich selbst um die Beschaffung von brauchbarem Praxisdaten und Material zur Facharbeit kümmern müssen“, berichtet Sven Jantzen, Abteilungsleiter Agrarwirtschaft am BBZ Bad Segeberg. Folgende Punkte sind aus der Sicht von Jantzen in Hinsicht auf die Erstellung von Haus- und Facharbeiten besonders wichtig:

• Die Schülerinnen und Schüler müssen zum Beginn der Fachschule zum Thema KI-Nutzung sehr gut geschult und aufgeklärt werden.
• Es müssen klare Regeln für die Nutzung von KI im Unterricht und in Haus-/Facharbeiten festgelegt werden.
• Es muss verbindlich zwischen allen Lehrkräften eines Bildungsgangs festgelegt werden, mit welcher Gewichtung die einzelnen bewertbaren Kriterien einer Hausarbeit bewertet werden. Die Gewichtung muss an die Prüflinge kommuniziert werden. Es findet somit eine Verlagerung vom Schreibstil weg hin zum anwendungsbezogenen fachlichen Teil der Arbeit, der rund 50 Prozent der Prüfung ausmacht, statt.
• Die Arbeit muss kurz nach der Abgabe in einem Prüfungsgespräch verteidigt werden. Die Note fließt in das Ergebnis der Hausarbeit ein, im Falle seiner Schule macht sie derzeit 40 Prozent der Endnote aus.

Was sollten zusammenfassend also die wesentlichen Elemente einer KI-basierten Prüfungskultur sein, gerade auch für das „grüne“ Prüfwesen? Hans-Michael Lenz vom Deutschen Bauerverband ist der Ansicht, dass sich die Prüfungen mehr auf die mündliche Kompetenzbewertung konzentrieren sollten – ein klarer Unterschied zum bisherigen Schwerpunkt, der schriftlichen Arbeit.

KI könne und sollte als reines Werkzeug transparent genutzt werden, die wesentliche Bewertung muss dabei vermehrt den Fokus auf den Entstehungsprozess einer Arbeit legen. Lenz meint: „Dieser lässt sich auch einfach durch die Dokumentation von Entscheidungen, Versionshistorien, Arbeitsprotokollen und Angabe der Zwischenstände überprüfen. Keinesfalls darf auf Fachgespräche, mündliche Prüfungsteile, Reflexionsberichte, Anwendungsaufgaben und eine menschliche Bewertung der Prüfungsarbeit verzichtet werden.“

Speziell auf die Lernenden bezogen, ergänzt Sven Jantzen von der Landwirtschaftsschule am BBZ Bad Segeberg: „Grundsätzlich muss den Schülerinnen und Schülern klargemacht werden, dass KI nur ein Hilfsmittel oder Werkzeug sein kann, um zu einem fachlichen Ergebnis zu kommen. Nicht mehr und nicht weniger! Mit einem guten Werkzeug allein ist nicht sichergestellt, dass die Arbeit auch qualitativ hochwertig wird. Der Auftrag der Schule liegt also darin, den Bediener der KI darin zu befähigen, das Werkzeug richtig einzusetzen.