KI-Tutoren benötigen möglicherweise eine Bewertung, nicht nur Zugang, um studentisches Denken zu fördern

Eine randomisierte Studie an 18 Mittelschulen in Tennessee legt nahe, dass allein die Verfügbarkeit eines KI-Tutors nicht garantiert, dass Schülerinnen und Schüler ihn zur Verbesserung ihres Lernens nutzen. Über einen Zeitraum von zwei Jahren probierten 96 % der teilnehmenden Schülerinnen und Schüler Khan Academys Khanmigo mindestens einmal aus; die durchschnittliche Schülerin beziehungsweise der durchschnittliche Schüler nutzte ihn jedoch nur an etwa einem Drittel der Tage, an denen er verfügbar war.

Die Ergebnisse stammen aus „One Click Away“, einem Arbeitspapier des National Bureau of Economic Research von den Ökonomen Philip Oreopoulos und Nina Low. Die Schülerinnen und Schüler nutzten Khan Academy während täglicher Förderstunden in Mathematik; Khanmigo war so konzipiert, dass es sie anleitete, anstatt direkte Antworten zu geben. Im Vergleich zu Schülerinnen und Schülern, die konventionellen Förderunterricht erhielten, erzielten diejenigen mit Zugang zum KI-Tutor bescheidene Fortschritte in Mathematik – ähnlich den Ergebnissen, die ohne KI durch Übungen mit Khan Academy zu erwarten gewesen wären.

Die meisten Schülerinnen und Schüler nutzten den Tutor nur selten, und ihre Gespräche konzentrierten sich nur selten auf Mathematik. Khan-Academy-Chef Sal Khan sagte, die Ergebnisse unterstrichen die Bedeutung der Motivation – ein Punkt, den die Organisation bereits öffentlich vertreten hatte.

Der Artikel argumentiert, dass optionale KI-Unterstützung Schülerinnen und Schüler dazu bringen kann, Werkzeuge zu wählen, die Antworten liefern, statt Tutoren zu nutzen, die sie auffordern, ein Problem selbst durchzudenken. Schülerinnen und Schüler zur Nutzung eines KI-Systems zu verpflichten, kann die Beteiligung erhöhen, führt aber nicht zwangsläufig zu Anstrengung oder sinnvoller Interaktion. Kristen DiCerbo, Chief Learning Officer der Khan Academy, hat einige Gespräche von Schülerinnen und Schülern mit KI-Tutoren als passiver beschrieben, als Pädagogen es sich wünschen würden.

Die Khan Academy reagierte darauf, indem sie Khanmigo direkt in Übungsaufgaben integrierte, anstatt die Schülerinnen und Schüler die Gespräche selbst initiieren zu lassen. Die Änderung beruht auf der Auffassung, dass ein KI-Tutor in Lernaktivitäten eingebettet sein muss und Möglichkeiten, produktives Ringen mit einem Problem zu vermeiden, begrenzt werden sollten.

Die vorgeschlagene Alternative besteht darin, das Gespräch mit der KI zu einem Teil der Bewertung zu machen. In einer separaten Studie mit 21 Schülerinnen und Schülern der 12. Klasse am Collège du Léman International School in der Schweiz untersuchten die Schülerinnen und Schüler Beispiele für starke und schwache Interaktionen mit KI, halfen bei der Erstellung einer Bewertungsrubrik für eine effektive Nutzung und reichten anschließend vollständige ChatGPT-Protokolle aus einem Medienanalyseprojekt ein.

Die Schülerinnen und Schüler wurden danach bewertet, wie präzise ihre Fragen waren, wie kritisch sie auf Vorschläge der KI reagierten und ob sie die Verantwortung für das Denken behielten. Nach der vierwöchigen Studie sagten 18 Schülerinnen und Schüler, dass sich ihr Umgang mit KI verändert habe, während 10 angaben, stärker auf ihre eigenen Eingaben und darauf zu achten, wie sie während des Gesprächs darauf aufbauen könnten. Die Zahl derjenigen, die sich völlig sicher fühlten, nützliche Antworten von der KI zu erhalten, stieg von zwei auf 11.

Die Forschenden untersuchten außerdem, ob größeres Vertrauen mit einem besseren Verständnis der Grenzen von KI einherging. Fünf Schülerinnen und Schüler wurden deutlich selbstsicherer und erkannten zugleich mehr Risiken. Vier wurden weniger zuversichtlich in ihrer Fähigkeit, die Genauigkeit von KI zu beurteilen; die Forschenden interpretierten dies als möglicherweise gesunde Anpassung. Zwei Schülerinnen und Schüler wurden deutlich selbstsicherer und entwickelten zugleich eine abweisende Haltung gegenüber den Risiken.

Die Studie war ein kleines Pilotprojekt ohne Kontrollgruppe, und ein großer Teil ihrer Belege beruhte auf Selbstauskünften. Ihre zentrale Annahme lautet jedoch, dass Schülerinnen und Schüler sich eher anstrengen, wenn sie wissen, dass ihre Interaktion überprüft und anhand klarer Kriterien beurteilt wird.

Dieselbe Idee wurde durch Rollenspiele erprobt, in denen eine KI eine schwierige Person darstellte, die eine Schülerin oder ein Schüler überzeugen, unterrichten oder mit der sie oder er verhandeln musste. Der Autor des Artikels empfand diese Gespräche als fesselnder als konventionelles sokratisches Tutoring – vor allem, weil ein Professor die Gespräche bewerten würde. Das Wissen, dass die Interaktion beurteilt werden würde, erhöhte den Anreiz, sorgfältig zu denken.

Bei Unterrichtsversuchen mit einer Plattform namens AI Friction Labs nutzten Schülerinnen und Schüler KI-Rollenspiele, die ihr Denken sichtbar machen sollten. In einem Mathematikkurs an der Cheshire Academy in Connecticut schlüpften 21 Schülerinnen und Schüler in die Rolle von Lehrkräften, während die KI eine Mitschülerin oder einen Mitschüler spielte, die oder der Schwierigkeiten hatte, Tangenten zu verstehen. Die Schülerinnen und Schüler mussten das Konzept in verständlicher Sprache erklären, statt sich auf Fachbegriffe zu verlassen. Fünf Schülerinnen und Schüler wiederholten die Übung und verbesserten ihre Ergebnisse im Durchschnitt um etwa 34 Punkte.

An der San Domenico School in Kalifornien forderte eine KI, die eine erfahrene Ökologin oder einen erfahrenen Ökologen spielte, die Schülerinnen und Schüler mit wiederholten „Warum“- und „Wie“-Fragen heraus. Eine Schülerin oder ein Schüler sagte, die Übung habe sie oder ihn über das Auswendiglernen von Begriffen hinaus zu einem Verständnis der zugrunde liegenden Mechanismen geführt.

Der Ansatz stieß auch auf Widerstand. Einige Schülerinnen und Schüler empfanden die Fragen als wiederholend, überwältigend oder als Verhör. Diese Reaktionen zeigen, wie wichtig ein sorgfältig abgestimmter Schwierigkeitsgrad, ausreichende Vorbereitung und die Aufsicht durch Lehrkräfte sind. Der Artikel räumt außerdem ein, dass die Unterrichtsbeispiele Betatests eines Unternehmens im Besitz des Autors und keine kontrollierte Forschung waren.

Das vorgeschlagene Modell stellt die Lehrkraft ins Zentrum. Die KI kann eine erste Bewertung eines Gesprächs anhand festgelegter Kriterien erstellen und Momente hervorheben, in denen eine Schülerin oder ein Schüler offenbar erfolgreich war oder Schwierigkeiten hatte. Anschließend überprüft die Lehrkraft den Austausch, korrigiert die Bewertung der KI und entscheidet, welches Feedback die Schülerin oder der Schüler erhalten soll.

Nach diesem Ansatz ist KI nicht in erster Linie ein Tutor, der darauf wartet, dass eine Schülerin oder ein Schüler um Hilfe bittet. Sie wird zu einem Bestandteil einer Bewertung, in der Schülerinnen und Schüler ihr Denken durch ein adaptives Gespräch unter Beweis stellen müssen. Ein Protokoll kann zeigen, an welcher Stelle sie stecken blieben, wie sie auf Herausforderungen reagierten und ob sie sich wieder fingen, ohne die Verantwortung für ihre Arbeit abzugeben.

Der Artikel kommt zu dem Schluss, dass Schulen KI nicht in jedem Klassenzimmer einsetzen müssen. Wenn Pädagogen jedoch wollen, dass KI das Denken unterstützt, wird Zugang allein wahrscheinlich nicht ausreichen. Aktivitäten zu entwerfen, in denen das Denken der Schülerinnen und Schüler sichtbar wird, und zu bewerten, wie sie das System nutzen, könnte einen stärkeren Anreiz für echtes Engagement bieten, als einen optionalen Tutor am Rand des Bildschirms bereitzustellen.

Quellen: EdSurge.