Datenverarbeitung ist nie neutral oder objektiv. Algorithmen werden von Menschen erstellt. Systeme der Künstlichen Intelligenz lernen von Datensätzen, die durch Menschen zur Verfügung gestellt werden. Menschen entscheiden darüber, welche Daten generiert bzw. genutzt werden und wie diese gewichtet werden. Alle menschlichen Unzulänglichkeiten finden sich somit auch in den Daten und letztendlich in darauf basierenden Entscheidungen wieder.
Dieser Beitrag vermittelt einen grundlegenden Überblick über die Thematik algorithmische Diskriminierung. Des Weiteren wird dargestellt, warum diese Thematik relevant für Schülerinnen und Schüler ist und wie sie im Unterricht behandelt werden kann.
Ein Algorithmus ist eine einfache Anleitung oder ein Bündel von Handlungsanweisungen, die bei Berechnungen oder anderen Problemlösungsoperationen befolgt werden. Im Idealfall erhält man einen automatisierten Vorgang, der immer die gleichen Ergebnisse liefert. Unter KI-Systemen versteht man Software in Computern oder Maschinen, die mit dem Ziel programmiert wurde, Aufgaben auszuführen, die normalerweise menschliche Intelligenz erfordern. KI-Systeme können anhand von Daten „trainiert“ werden, um Vorhersagen zu machen, Empfehlungen zu geben oder Entscheidungen zu treffen. Manchmal ist eine menschliche Beteiligung dann nicht mehr notwendig. (Vgl. Europäische Kommission, 2022)
Diskriminierung ist die ungerechtfertigte Bevor- oder Benachteiligung von Menschen aufgrund von äußeren oder inneren Persönlichkeitsmerkmalen (vgl. Enquete-Kommission, 2020). Diskriminierungen von bestimmten Personenkreisen ist ein seit langem bekanntes und weltumspannendes Problem.
In Deutschland versucht der Gesetzgeber mit dem Allgemeinen Gleichbehandlungsgesetz (AGG) entgegenzuwirken. Umgangssprachlich wird es auch „Antidiskriminierungsgesetz“ genannt. Die gesetzlichen Regelungen haben das Ziel, Benachteiligungen aus den folgenden Gründen zu verhindern oder zu beseitigen:
|
|
|
Algorithmische Diskriminierung tritt auf, wenn ein automatisiertes Entscheidungssystem eine bestimmte Gruppe von Menschen benachteiligt. Das kann zufällig oder systematisch geschehen. Im Bereich der Informatik bezeichnet man ein Fehlverhalten, das auf einer systematischen Verzerrung beruht auch als Bias. (Vgl. Enquete-Kommission, 2020)
Eines der bekanntesten Beispiele für ein algorithmisches System zur Entscheidungsunterstützung ist das COMPAS System (Correctional Offender Management Profiling for Alternative Sanctions). Es wird in vielen US-Bundesstaaten dazu eingesetzt, die Gerichte bei Entscheidungen zu vorzeitigen Haftentlassungen zu unterstützen. Der Algorithmus liefert dabei eine Risikoprognose für potenzielle Strafrückfälligkeiten. Die Software ist dabei immer wieder scharfer Kritik ausgesetzt, da für schwarze Menschen das Risiko erneut eine Strafe zu begehen systematisch überbewertet wird. (Vgl. Orwat, 2019)
Typen von Diskriminierung:
Eine unmittelbare Benachteiligung liegt vor, wenn eine Person eine weniger günstige Behandlung erfährt. Gleiches wird also ungleich behandelt. (AGG §3 (1))
Beispiel:
Eine Schülerin bzw. ein Schüler mit Migrationshintergrund erhält in einem Referat eine schlechtere Bewertung als eine Schülerin oder ein Schüler ohne Migrationshintergrund, obwohl die abgelieferten Leistungen objektiv gesehen gleichwertig sind.
Die mittelbare Diskriminierung erfolgt nicht offensichtlich aufgrund eines Persönlichkeitsmerkmals. Sie resultiert aus scheinbar neutralen Kriterien. Diese gelten scheinbar für alle. Sie wirken jedoch auf bestimmte Gesellschaftsgruppen stärker benachteiligend als auf andere. Hier wird Ungleiches gleich behandelt. (AGG §3 (2))
Beispiel:
Eine Schülerin oder ein Schüler mit einer körperlichen Behinderung kann nicht so schnell schreiben wie die anderen Kinder. In schriftlichen Prüfungen wird aber kein Zeitzuschlag gewährt.
Die intersektionale Diskriminierung wird auch als mehrdimensionale Diskriminierung bezeichnet. Hier ist die Benachteiligung nicht nur an ein Diskriminierungsmerkmal, sondern an mehrere Faktoren geknüpft. Sie ist rechtlich nicht exakt definiert, spiegelt sich jedoch in §4 AGG wider.
Beispiel:
Die RhomnoKher Studie 2021 zeigt auf, dass Kinder, die den Sinti und Roma angehören überproportional häufig die Schule ohne Schulabschluss verlassen. Die Studienautoren sehen die Ursache in einer Benachteiligung aufgrund von Antiziganismus (=Rassismus, der sich gegen Sinti und Roma richtet) und dem sozialökonomischen Status.
Bei der präferenzbasierten Diskriminierung beruhen Ungleichbehandlungen auf persönlichen Vorlieben oder Abneigungen.
Beispiel:
Die Lehrkraft sieht über Verfehlungen des Klassenprimus hinweg und sanktioniert sie nicht.
Unter dem Begriff der statistischen Diskriminierung wird die ungerechtfertigte Ungleichbehandlung von Personen mithilfe von Ersatzinformationen verstanden. Sie wird auch als Stellvertreter- oder Proxydiskriminierung bezeichnet.
Beispiel:
Die Studie „Kevin ist kein Name, sondern eine Diagnose“ erregte im Jahr 2009 viel Aufmerksamkeit. Sie deckte auf, dass teilweise weit über 50 Prozent der befragten Lehrkräfte Kindern mit entsprechenden Vornamen negative Eigenschaften zuwiesen. Aufgrund des Vornamens wurden die Kinder einem bildungsfernen Unterschichtmilieu zugeordnet. (vgl. Kube, 2009)
Automatisierte Entscheidungs- und Auswahlprozesse, die auf Algorithmen und Künstlicher Intelligenz beruhen, haben sich im Laufe der letzten Jahre in vielen alltäglichen Anwendungen etabliert. Sie verhelfen Unternehmen und Behörden zu mehr Effizienz und schnelleren Prozessabwicklungen. Im Finanzsektor helfen Algorithmen bei der Bestimmung der Kreditwürdigkeit oder finden Unregelmäßigkeiten in Steuererklärungen.
Im Internet und in Sozialen Netzwerken sorgen Algorithmen dafür, dass wir Werbeanzeigen und Meldungen angezeigt bekommen, die individuell auf unsere Interessen und Vorlieben zugeschnitten sind. Auch bei der Auswahl von Bewerbungen auf Arbeitsstellen oder der Anzeige möglicher Partnerinnen bzw. Partner bei Singlebörsen kommen algorithmische Systeme zum Einsatz.
Laut einer repräsentativen Umfrage von Overdiek & Petersen im Auftrag der Bertelsmann Stiftung aus dem Jahr 2022 hat sich im zeitlichen Verlauf der Informationsgrad der deutschen Bevölkerung über Algorithmen, Künstliche Intelligenz und deren Einsatzgebiete im Vergleich zur letzten Erhebung im Jahr 2018 um durchschnittlich 10 Prozentpunkte erhöht. Das Erkennen des Einflusses auf das eigene Leben fällt vielen Menschen jedoch noch schwer. So nehmen nur 29 % der Befragen einen starken oder sehr starken Einfluss auf ihren eigenen Alltag wahr.
Die Studienautoren stellen zudem fest, dass ein erstaunlich hoher Anteil der Studienteilnehmerinnen und -teilnehmer wenig Vorbehalte gegenüber Einsatzgebieten mit größerem Schadenspotenzial haben. So ist der Anteil der Befragten, die den Einsatz von Gesichtserkennung bei Videoüberwachungen im öffentlichen Raum für unproblematisch halten signifikant angestiegen.
Gerade im Bereich der Strafverfolgung ist der Einsatz solcher Systeme höchst umstritten, da es bereits Beispiele von Diskriminierungen von Menschen mit nicht-weißer Hautfarbe gibt. So kann die Software diese Personengruppen nicht so zuverlässig erkennen, womit im schlimmsten Fall unschuldige Menschen unter Verdacht geraten. (vgl. Enquete-Kommission, 2020)
Die Frage, warum die Menschen den Einsatz von algorithmischen Systemen oder KI zum überwiegenden Teil als harmlos ansehen und mit wenig Auswirkungen auf ihren Alltag wahrnehmen, lässt sich anhand der Studiendaten leider nicht beantworten. Einerseits könnten sich die Menschen durch gesetzliche Regelungen besonders gut vor missbräuchlicher oder benachteiligender Anwendung geschützt fühlen. Andererseits könnte ein Informationsdefizit vorliegen, d.h. dass die Menschen also gar nicht wissen, welche negativen Auswirkungen der Einsatz dieser Technologien haben kann.
Der Einsatz von algorithmischen Systemen wird in den nächsten Jahrzehnten noch stark zunehmen. Es ist also wichtig, dass sich bereits Schülerinnen und Schüler mit den positiven wie negativen Auswirkungen auf die diversen Lebens- und Arbeitsbereiche auseinandersetzen.
„Datenbasierte KI-Systeme lernen auf Basis vorhandener Daten. Resultierende Prognosen und Empfehlungen schreiben somit die Vergangenheit in die Zukunft fort, wodurch Stereotype, aber auch bestehende gesellschaftliche Ungerechtigkeiten durch den Einbau in scheinbar neutrale Technologien reproduziert und sogar verstärkt werden können.“
(Deutscher Ethikrat, S. 372 f.)
Im US-amerikanischen Gesundheitssystem kam eine Software zum Einsatz, die weißen Patientinnen und Patienten teure Krankenbehandlungen wesentlich häufiger genehmigte als Afroamerikanerinnen und -amerikanern. Die Ursache liegt vor allem in bereits bestehenden sozialen Diskriminierungen. (Vgl. Innovationsbüro Digitales Leben des BMFSFJ, 2021)
Der österreichische Arbeitsmarktservice (AMS) testete im Jahr 2019 eine Software zur Bestimmung von Arbeitsmarktchancen. Frauen wurden dabei sichtlich schlechter eingestuft. Auch hier liegt die Ursache in der bereits bestehenden Benachteiligung auf dem Arbeitsmarkt. (Vgl. Innovationsbüro Digitales Leben des BMFSFJ, 2021)
Im Bereich von automatisieren Systemen werden Algorithmen anhand von Trainingsdaten geschult. Falls diese Datensätze nicht ausgewogen zusammengestellt werden, kann dies zu einer Verzerrung führen.
Beispiel:
Ein automatischer Seifenspender mittels Infrarotsensor funktionierte nur bei Menschen mit heller Hautfarbe, da die Testgruppen für die Einstellung der Sensitivität des Sensors keine dunkelhäutigen Menschen beinhaltete. (Vgl. Innovationsbüro Digitales Leben des BMFSFJ, 2021)
„Big data doesn't eliminate bias, we're just camouflaging it with technology.”
Cathy O' Neil (zitiert nach Schep, T.)
Da Diskriminierung kein reines informatisches Problem darstellt, sondern vor allem auf gesellschaftlichen Gegebenheiten beruht, könnte man argumentieren, dass algorithmische Diskriminierungen keine großen Auswirkungen haben. Das Problem liegt aber darin, dass Menschen mathematische Modellierungen und Algorithmen subjektiv als objektiver und neutraler empfinden. Die Gesellschaft ist sich heute sehr bewusst, dass Menschen zu Vorurteilen neigen und Entscheidungsprozesse daher diskriminierend sein können. Das Problembewusstsein, dass sich diese auch in Algorithmen widerspiegeln können, ist noch wenig ausgeprägt. Sie vermitteln einen Anschein von Objektivität, der tatsächlich nicht gegeben ist. Der Datenanalyst Fred Benenson prägte dafür den Begriff „Mathwashing“.
Chancen
Der Einsatz von automatisierten Entscheidungsprozessen bietet ein enormes Potenzial für die Wirtschaft, aber auch für die Verwaltung. Durch die Automatisierung und Verbesserung der Effektivität lässt sich der Einsatz von Ressourcen und Personal enorm verringern. Auch die Qualität kann gesteigert werden, wenn menschliche Schwächen durch technische Unterstützung ausgeglichen oder ausgeschlossen werden.
Menschen sind nicht perfekt. Entscheidungen werden oft nicht nur faktenbasiert getroffen. Die Arbeitsleistung hängt u.a. auch von der Tagesform oder Motivation ab. Algorithmen können also dazu beitragen, dass Entscheidungsprozesse fairer und in konstanterer Qualität getroffen werden.
Risiken
Wenn algorithmische Systeme Stereotype und soziale Ungerechtigkeiten aus den eingespeisten Datensätzen übernehmen, können diese reproduziert werden. Grundsätzlich könnte man nun argumentieren, dass Algorithmen damit auch nicht fehleranfälliger sind als menschliche Entscheidungsprozesse. Problematisch ist hier jedoch die große Effektivität automatisierter Prozesse. Da in wesentlich kürzerer Zeit viel mehr Entscheidungen getroffen werden bleibt zwar im besten Fall die Fehlerquote gleich, die absolute Menge an Fehlurteilen vervielfacht sich jedoch. Zum anderen haben Fehler viel schwerwiegendere Folgen, da der Algorithmus gleichbleibend immer wieder bei jedem Einzelfall die gleiche fehlerhafte Entscheidung trifft.
Außerdem weisen automatisierte Entscheidungssysteme weder moralische noch empathische Komponenten auf. Menschliche Entscheider können sich aufgrund der individuellen Faktenlage auch in die betroffenen Personen einfühlen und möglicherweise Ermessensspielräume oder individuelle Ausnahmeregelungen nutzen.
Der AI Act teilt KI-Systeme in verschiedene Risikokategorien ein. KI-Systeme, die eine Bedrohung für Menschen, Sicherheit und Grundrechte darstellen können sind komplett verboten. In den anderen Risikostufen müssen die Unternehmen strenge Anforderungen für die Entwicklung, das Inverkehrbringen und die Nutzung erfüllen.
Hier finden Sie Material, mit dem Sie algorithmische Diskriminierungen und deren Auswirkungen mit Ihren Schülerinnen und Schülern im Unterricht thematisieren können.
Dennis und die Algorithmen – Sind Algorithmen gut oder schlecht?
Diese 6-minütige Folge der WDR-Reihe „Dennis und die Algorithmen“ eignet sich sehr gut als thematischer Einstieg. Anhand des Beispiels Kreditvergabe wird dargestellt, welche vielfältige Daten im Rahmen einer Antragstellung erhoben werden. Anschließend wird der Einsatz von algorithmischen Entscheidungssystemen in einen ethischen Kontext gestellt.
Zielgruppe: 1.-13. Jahrgangsstufe
Art des Materials: Video
Medienteilkompetenzen: 5.4
Künstliche Intelligenz – Chance oder Risiko?
Mit dieser kompakten 45-minütigen Unterrichtseinheit der Landeszentrale für politische Bildung Baden-Württemberg können Sie Ihren Schülerinnen und Schülern alltagsnahe Einsatzszenarien von KI näherbringen. Darüber hinaus regt das Material anhand von Beispielen zu einer kritischen Auseinandersetzung mit den Chancen und Risiken an. Abschließend werden ethische Leitlinien für die Entwicklung und den Umgang mit algorithmischen Systemen vorgestellt, die dazu beitragen können, negative Auswirkungen auf die Gesellschaft zu verringern.
Zielgruppe: 7.-10. Jahrgangsstufe
Art des Materials: Unterrichtseinheit
Medienteilkompetenzen: 5.4
Die Macht der Algorithmen
In diesem halbstündigen Podcast aus der SWR-Reihe „Die Macht…“ wird anhand von Beispielen aufgezeigt, in welchen Alltagsbereichen algorithmische Entscheidungsprozesse bereits eingesetzt werden. Namhafte Personen aus dem Umfeld des Silicon Valleys kommen im Originalton zu Wort. Anhand der Schilderungen werden Gefahren und Potenziale aufgezeigt und mögliche Umgangs- und Handlungsoptionen im Hinblick auf diese neuen Technologien ausgelotet.
Zielgruppe: 5.-13. Jahrgangsstufe
Art des Materials: Podcast
Medienteilkompetenzen: 5.4
Programmierte Ungerechtigkeit – Wie diskriminierend Algorithmen sind
Dieses halbstündige Video aus der Reihe ZDFzoom: Digital Empire stellt anhand von zwei Beispielen Betroffener dar, wie Menschen aufgrund ihrer Hautfarbe oder ihres Geschlechtes durch Algorithmen auf Plattformen von Sozialen Medien benachteiligt werden. Davon ausgehend werden die Ursachen, Folgen und mögliche (politische) Präventionsmöglichkeiten aufgezeigt.
Zielgruppe: 7.-13. Jahrgangsstufe
Art des Materials: Video
Medienteilkompetenzen: 5.4
Kannst du den Algorithmus knacken?
Dieses Spiel von AlgorithmWatch dauert ca. 10 Minuten. Die Spielerin oder der Spieler fungieren dabei als Reporter einer großen europäischen Nachrichtenredaktion und sollen etwas über den Algorithmus der fiktiven App TikTube herausfinden, der Jugendliche angeblich aggressiv macht. Anhand des Spiels erhalten die Schülerinnen und Schüler auch Einblick in die Arbeit von investigativen Journalisten.
Zielgruppe: 7.-13. Jahrgangsstufe
Art des Materials: Serious Game
Medienteilkompetenzen: 5.4
Zu sexy – wie Online-Algorithmen Frauen benachteiligen
Diese halbstündige Folge von 11KM: Tagesschau-Podcast geht der Frage nach, wie Bilderkennungsalgorithmen im Internet zu systematischer Benachteiligung von Frauen führen können. Als Beispiel dient eine Influencerin, die ihre Follower mit Hilfe eines Bildes an die Brustkrebsvorsorge erinnern wollte. Das Bild wurde jedoch aufgrund von sexueller Freizügigkeit gelöscht.
Zielgruppe: 8.-13. Jahrgangsstufe
Art des Materials: Podcast
Medienteilkompetenzen: 5.4
Digitalen Medien bieten eine Vielfalt an technischen Möglichkeiten. Damit steigt auch der Bedarf an Orientierung. Welche Werte, Regeln und Kompetenzen braucht es für ein verantwortungs- und rücksichtsvolles Miteinander im Netz?
Gamification: Wie lassen sich ethische Fragestellungen im Unterricht spielerisch thematisieren?
Der Beitrag erläutert Chancen und Risiken der algorithmenbasierten Konzepte Learning Analytics und Classroom Analytics.
Der Beitrag liefert einen Überblick über Chancen und Risiken von smarten Geräten und digitalen Sprachassisstenten im Kinderzimmer sowie Smartwatches.
Es werden drei auf Risiken basierende ethische Fragestellungen aufgezeigt und Praxistipps gegeben, wie diesen Gefahren präventiv entgegengewirkt werden kann.
Hier finden Sie Hintergrundinformationen und Unterrichtsmaterialien zu Benachteiligungen aufgrund von algorithmisch geprägten Entscheidungen.