Zu Inhalt springen Zu Fußbereich springen

Schlechter mit KI? Maschinelles Lernen und Verantwortung

Auf Anraten einer Sportlehrkraft lässt sich ein Schüler einen Trainingsplan von einem KI-System erstellen, woraufhin sich seine Ergebnisse verschlechtern. Wer trägt die Verantwortung für die Verschlechterung der sportlichen Leistungen – die Lehrkraft, der Schüler, die KI-Entwicklerinnen/KI-Entwickler oder das KI-System selbst? Solche Fragen zur Verantwortung bzw. zu den Folgen KI-generierter Ausgaben und den damit einhergehenden Risiken zu diskutieren, ist essentiell für die sichere und kontrollierte Anwendung von Künstlicher Intelligenz.

KI und Entscheidungen

KI-Systeme können weitreichende Entscheidungen über das Leben von Menschen treffen, beispielsweise, wer zu einem Bewerbungsgespräch eingeladen wird oder wer einen Kredit erhält. Ein Algorithmus kann aber auch statistische Voraussagen treffen, wie, mit welcher Wahrscheinlichkeit jemand an Krebs erkranken oder eine Straftat begehen wird.

Bei der Herstellung des Bildes wurde am 24.11.2025 Gemini verwendet. © ISB

Auch im schulischen Kontext könnten KI-Systeme weitreichende Entscheidungen treffen, zum Beispiel über die Leistungen von Schülerinnen und Schülern. So verwenden intelligente tutorielle Systeme KI-Algorithmen, um das Lernverhalten von Schülerinnen und Schülern zu analysieren und zu speichern, um personalisierte Lernempfehlungen geben zu können.

Um zu verhindern, dass KI-Systeme allein über Menschen urteilen, muss sichergestellt werden, dass immer ein Mensch die finale Entscheidung trifft. Der EU AI Act schreibt genau das vor: Hochrisiko-KI, etwa in Bildung oder bei der Personalauswahl, darf nur mit menschlicher Prüfung eingesetzt werden (Art. 6 und Art.14). So bleibt die Verantwortung beim Menschen und nicht beim Algorithmus.

KI und Verlässlichkeit

Maschinell-lernende KI-Systeme bringen einige Herausforderungen mit sich:

Halluzinationen: Generative KI-Systeme können Ergebnisse liefern, die zwar überzeugend präsentiert werden, aber faktisch nicht korrekt sind. Besonders problematisch wird dies bei großen Sprachmodellen (Large Language Models LLM), bei denen die erzeugten Texte sehr plausibel erscheinen. Der oder die Nutzende muss über entsprechendes Fachwissen verfügen, oder die Ausgaben gründlich hinterfragen und überprüfen, um Falschinformationen zu erkennen.

Bias: Sind die Trainingsdaten mit Vorurteilen behaftet oder ist die Auswahl der Trainingsdaten einseitig, dann sind auch die Ergebnisse des Sprachmodells voreingenommen oder verzerrt. Ursachen für Biases können fehlende Aktualität bzw. Unvollständigkeit der Trainingsdaten/der erhobenen Merkmale und mangelnde Qualität der Trainingsdaten sein. Lesen Sie dazu mehr im Artikel Verzerrungen.

Alignment: Die rechtlichen, ethischen und sozialen Werte, nach denen das KI-System entscheiden soll, können ihm als „korrekte Ausrichtung” (Alignment) vorgegeben werden. Die Realisierung des Alignments befindet sich aktuell jedoch in den Händen der Anbieter der Sprachmodelle - also in den Händen privater Unternehmen (Janda, 2024, S. 35-36). Das ist problematisch, da die Festlegung moralischer und sozialer Normen und Werte eigentlich Aufgabe der Gesellschaft ist. „Die Gesellschaft sollte den Maschinen nur dann wichtige Entscheidungen überlassen, wenn sie darauf vertrauen kann, dass sie nach unseren kulturellen und moralischen Maßstäben handeln.” (Zweig, 2019, S. 9).

Transparenz: Die konkreten Algorithmen und Regeln, die dazu führen, dass bestimmte Ergebnisse produziert werden, sind oft nicht transparent. Dies liegt daran, dass maschinell-lernende KI-Systeme die Regeln, nach denen sie Daten verarbeiten, selbstständig aus großen Datenmengen ableiten. Mehr darüber erfahren Sie unter Methoden der KI. Dies geschieht insbesondere bei tiefen neuronalen Netzen in einer nicht einsehbaren „black box”, deren Entscheidungsregeln selbst für Fachkräfte mit Zugang zum Quellcode nicht vollständig nachvollziehbar sind (Buyx et al., 2023a, S. 16).

KI und Verlässlichkeit in der Schule

Grundsätzlich muss bei der Verwendung digitaler Systeme in der Schule die Bildung im Vordergrund stehen und nicht das technologisch Machbare.

Bei der Herstellung des Bildes wurde am 24.11.2025 Flux verwendet. © ISB

Auf institutioneller Ebene könnten KI-Anwendungen einer Zertifizierung unterzogen werden. Die große Vielfalt an Systemen mit unterschiedlichen Chancen, Risiken und Marktpositionen erschwert es Lehrenden und Lernenden, geeignete Produkte auszuwählen. Eine Zertifizierung könnte Orientierung bieten, Mindeststandards sichern und die Auswahl passender Systeme im Kontext des Lehrens und Lernens erleichtern. Dabei ließen sich bekannte Probleme wie Halluzinationen oder Verzerrungen berücksichtigen und Systeme mit gutem Alignment und hoher Transparenz bevorzugen.

Auf Nutzendenebene müssen vor allem Kompetenzen mit KI-Systemen gestärkt werden. Verantwortungsvoller Einsatz von KI-Systemen im Unterricht erfordert eine umfassende KI-Bildung, die technologische Grundlagen, gesellschaftliche Implikationen und praktische Anwendungsfähigkeiten gleichermaßen berücksichtigt.

So muss die KI-Kompetenz etabliert und gestärkt werden. Dies betrifft sowohl Lehrkräfte, die in Bayern durch modulare Fortbildungen (Fortbildungen) unterstützt werden, als auch Lernende (KI-Kompass) und Erziehungsberechtigte (Buyx et al., 2023a, S. 244-250). Besonders ist auf Deskilling und die Gefahr eines verengten pädagogischen Ansatzes zu achten.

Deskilling

„Deskilling tritt ein, wenn KI [Anm. KI-Systeme und KI-Anwendungen] mehr und mehr Tätigkeiten unterstützt oder vollständig übernimmt, für die zuvor menschliche Kompetenzen gebraucht wurden; diese werden dann nämlich nicht mehr ein- und ausgeübt und gehen in der Folge faktisch oder als Möglichkeit verloren – für die Gesellschaft und für den Einzelnen.“

(Buyx et al., 2023a, S. 24)

KI und Verantwortung

Für Menschen ist es wichtig, die Gründe für Entscheidungen nachvollziehen können. Nur wenn die Gründe für Entscheidungen verstanden werden, entsteht Vertrauen in die Entscheidungstragenden. Handeln diese transparent und verantwortungsbewusst, sind die Betroffenen eher bereit, die Entscheidungen zu akzeptieren, selbst wenn sie nicht immer einverstanden sind. Damit Entscheidungen von KI-Systemen Vertrauen erzeugen können, ist es daher wesentlich, dass ihre Entscheidungsprozesse transparent und nachvollziehbar sind und der jeweils bestehende Grad an Unsicherheit erkennbar wird.

Zugleich wird in der Praxis nicht selten ein unangemessen hohes Vertrauen in KI-Systeme gesetzt, etwa, wenn ihnen mehr Verständnis oder Urteilskraft zugeschrieben wird, als tatsächlich vorhanden ist. Ansätze der erklärbaren Künstlichen Intelligenz (Explainable AI, XAI) können zum Aufbau von Vertrauen in künstliche Intelligenz beitragen, indem sie die Entscheidungswege von KI-Systemen sichtbarer machen und so Vertrauen in deren Einsatz fördern.

Vertrauen in weitreichende Entscheidungen setzt voraus, dass die verantwortlichen Akteure benannt und zur Rechenschaft gezogen werden können. Laut der Stellungnahme des deutschen Ethikrates können KI-Systeme jedoch keine Verantwortung übernehmen, da dies ein Gewissen und ein Verständnis von gesellschaftlichen Normen, Werten und Regeln erfordert (Buyx, et al., 2023a, S. 25).

Verantwortung

Es gibt verschiedene Arten von Verantwortung:

• Primärverantwortung entsteht im Kontext von Aufgaben oder Rollen, für die man direkt zuständig ist. Man ist also verantwortlich für das, was man tut oder nicht tut und für die Folgen.

• Sekundärverantwortung betrifft das Überprüfen, ob Fehler durch aktives Handeln oder Unterlassen gemacht wurden. Man wird zur Rechenschaft gezogen oder jemand fragt nach, ob man seine Aufgaben erfüllt hat. Dabei schwingt oft der Verdacht mit, dass man etwas falsch gemacht hat.

• Tertiärverantwortung regelt die Haftung bei Fehlverhalten. Wenn sich herausstellt, dass man tatsächlich etwas falsch gemacht oder vernachlässigt hat, muss man dafür einstehen. Das kann heißen: Schaden ersetzen, etwas wiedergutmachen oder vielleicht auch eine Strafe bekommen.

(nach Höffe, 2002, S. 326f)

KI-Systeme können nicht bewusst und zweckgerichtet handeln oder die Folgen ihrer Entscheidungen einschätzen. Intentionales Handeln setzt einen eigenen Willen voraus, den KI-Systeme nicht haben, da sie lediglich statistische Modelle ohne eigene Absichten oder Überzeugungen sind. Ihnen fehlt die Fähigkeit zur Vernunft. Menschliche Vernunft umfasst nicht nur wohlbegründete Einzelurteile, sondern verantwortliches Handeln über einen langen Zeitraum (Buyx, et al., 2023a, S. 21f). Dies erfordert Kompetenzen wie Moralverständnis, Empathie, Intuition und Urteilsvermögen, die Fähigkeit zur Abwägung gegensätzlicher Werte und zum reflektierten Umgang mit Regeln. Diese Einzelfähigkeiten stehen in Wechselwirkung zueinander.

Vernunft

„Der Begriff der Vernunft wurde bereits lange vor der Einführung des Begriffs der Intelligenz verwendet, um die spezifische menschliche Fähigkeit zu kennzeichnen, sich in der Welt zu orientieren, selbstverantwortlich zu handeln und so der eigenen Lebenspraxis eine kohärente Struktur zu geben. Intelligenz ist für Vernunft eine wichtige Voraussetzung, aber keine hinreichende Bedingung.

Der Vernunftbegriff ist überaus komplex und umfasst ein mehrdimensionales Beziehungsgefüge von Denk‑, Reflexions- und Operationsformen, das in seiner Gesamtheit im Dienste einer möglichst adäquaten Wirklichkeitserschließung steht und in einen komplexen sozialen und kulturellen Kontext verwoben ist. Von grundlegender Bedeutung ist dabei die Gegenüberstellung von theoretischer Vernunft, die sich auf den Erkenntnisgewinn richtet, um zu wahren empirischen oder apriorischen Urteilen zu gelangen, und praktischer Vernunft, die auf ein kohärentes, verantwortliches Handeln abzielt, um ein gutes Leben zu ermöglichen.“

(Buyx, et al., 2023a, S. 20)

Einzelne Überschneidungen moderner KI-Systeme mit der menschlichen Vernunft seien laut der Stellungnahme des deutschen Ethikrates möglich, aber sie bildeten nicht die Komplexität der menschlichen Vernunft ab (Buyx, et al., 2023a, S. 22).

ELIZA-Effekt und Anthropomorphisierung

Bei der Herstellung des Bildes wurde am 24.11.2025 GPT verwendet. © ISB

Mit zunehmender Komplexität von KI-Systemen neigen Menschen dazu, diese zu vermenschlichen – ein Phänomen, das als ELIZA-Effekt bekannt ist. Dabei entstehen kognitive Verzerrungen, die dazu führen, dass den KI-Systemen Absichten, Emotionen oder sogar moralische Urteilsfähigkeit zuschrieben werden, die in Wirklichkeit nicht existieren.

Lehrerfortbildungen sollten gezielt dafür sensibilisieren, dass es sich hierbei um eine psychologische Täuschung handelt, die das Verhältnis von Mensch und Maschine grundlegend beeinflusst.

Der ELIZA-Effekt

1966 schreibt Joseph Weizenbaum ein Computerprogramm zur Verarbeitung natürlicher Sprache. In der Version, in der der Chat-Bot in der Rolle eines Psychotherapeuten antwortet, schreibt das Programm Geschichte. So erkennen viele Nutzende nicht, dass es sich um ein Computerprogramm handelt und bauen Vertrauen zum Programm auf. Da die Antworten als kompetent eingestuft werden, fühlen sich die Anwendenden gehört und verstanden, wie es auch bei einer echten Psychotherapie zu erwarten wäre.

Eigentlich sollte mit ELIZA geprüft werden, wie die Aussagen geschaffen sein müssen, damit das Programm glaubwürdig als Mensch eingestuft wird. Vom Ergebnis war Joseph Weizenbaum sehr überrascht: es ist erstaunlich einfach, die Illusion des Verstehens und von Urteilsvermögen zu erzeugen und aufrecht zu erhalten, so dass ELIZA schon in der 1966 vorliegenden Form den Turing-Test besteht. Vereinfacht gesagt gilt der Turing-Test als bestanden, wenn es einer Person nicht möglich ist, Antworten eines KI-Systems von denen eines Menschen zu unterscheiden.

(Weizenbaum, 1966, S. 36-45)

Durch anthropomorphe Effekte – also die Zuschreibung menschlicher Eigenschaften an nicht-menschliche Systeme – steigt das Vertrauen in KI-Systeme erheblich. Studien zeigen, dass insbesondere anthropomorphe Merkmale wie die Simulation von Gefühlen oder sozialer Nähe das Vertrauen in KI-Systeme verstärken. So können sich emotionale Bindungen entwickeln, die den kritischen Abstand zum KI-System verringern bzw. aufheben (Cohn, 2024, S. 8f).

Fazit: Verantwortung der Schulen

Die Aufgabe der Schule besteht darin, Lernende für die Effekte (Halluzinationen, Biases, Alignment, Transparenz und Anthropomorphisierung) zu sensibilisieren. Lernende müssen verstehen, dass KI-Systeme zwar Kommunikation simulieren, aber weder Emotionen noch Vernunft besitzen. Schulen sollten vermitteln, dass das, was als „intelligent“ erscheint, auf komplexen statistischen Berechnungen beruht – nicht auf Bewusstsein oder Absicht. Ebenso sollten sie aufklären, dass KI-Unternehmen gezielt daran arbeiten, ihre Systeme „menschlicher“ wirken zu lassen, um die Akzeptanz und Bindung zu fördern. Ein reflektiertes Verständnis dieser Strategien schützt vor unkritischem Vertrauen und vor der Illusion einer echten Beziehung zur Maschine (Klammerer, 2025).

Das wachsende Vertrauen in KI-Systeme bzw. KI-Anwendungen darf nicht zu einer Verschiebung von Verantwortung führen. Verantwortung setzt Vernunft, Bewusstsein und moralisches Urteilsvermögen voraus – Fähigkeiten, die KI-Systemen bzw. KI-Anwendungen fehlen. In der Schule muss deshalb deutlich gemacht werden, dass die Verantwortung für den Einsatz und die Ergebnisse von KI-Systemen und KI-Anwendungen stets beim Menschen liegt. Lehrkräfte spielen dabei eine Schlüsselrolle: Sie sollen Lernende befähigen, KI-Systeme kritisch zu hinterfragen, ihre Ergebnisse einzuordnen und eigene Entscheidungen bewusst zu reflektieren.

Ein Ziel schulischer Bildung ist es, die Grenzen zwischen menschlicher und maschineller Handlungskompetenz sichtbar zu machen und ein Bewusstsein dafür zu schaffen, dass Verantwortung nicht an ein KI-System bzw. eine KI-Anwendung delegiert werden kann, sondern vom Menschen selbst getragen werden muss.

Bei der Herstellung des Bildes wurde am 24.04.2025 GPT verwendet. © ISB

Ideen für den Unterricht

KI-Kompass

  • Modulares Unterrichtsmaterial, das den Schülerinnen und Schülern grundlegende Kenntnisse und Fähigkeiten im Umgang mit KI-Systemen vermittelt.

    Zielgruppen: Grundschulen, Jahrgangsstufen 5 bis 8

    Art des Materials: Unterrichtsmaterial

    Link: https://mebis.bycs.de/digitalkompass/startseite/ki-kompass

Moral Machine

  • Webtool, das moralische Entscheidungen selbstfahrender Autos simuliert. In 13 Szenarien werden Entscheidungen analog Trolley-Dilemmata durchgespielt und analysiert.

    Zielgruppe: Ethikunterricht in den Jahrgangsstufen 8 bis 10

    Art des Materials: Webtool

    Link: https://www.moralmachine.net/hl/de

Künstliche Intelligenz in der Kiste

  • Eine Sammlung verschiedener OER-Materialen der FAU. Es steht Unterrichtsmaterial zur Verfügung und es können auch fertig konfigurierte Kisten ausgeliehen werden.

    Zielgruppe: verschiedene Jahrgangsstufen

    Art des Materials: Unterrichtsmaterial

    Link zum Material: https://www.kiki-labor.fau.de

Handreichung KI

Unterrichtskonzept

Digitales Schulbuch

Digitale Ethik - Grundlagen

KI und ethische Aspekte

Wechselwirkungen zwischen Informatiksystemen, Mensch und Gesellschaft

KI - ethische und moralische Aspekte

Klicksafe - KI and me

Weitere Beiträge

Alle ansehen (16)

KI | Chatbots

Woher haben Chatbots ihr Können und was bedeutet das für uns?

Zu Seitenstart springen