Algorithmische Diskriminierung

Begriffsbestimmung

Ein Algorithmus ist eine einfache Anleitung oder ein Bündel von Handlungsanweisungen, die bei Berechnungen oder anderen Problemlösungsoperationen befolgt werden. Im Idealfall erhält man einen automatisierten Vorgang, der immer die gleichen Ergebnisse liefert. Unter KI-Systemen versteht man Software in Computern oder Maschinen, die mit dem Ziel programmiert wurde, Aufgaben auszuführen, die normalerweise menschliche Intelligenz erfordern. KI-Systeme können anhand von Daten „trainiert“ werden, um Vorhersagen zu machen, Empfehlungen zu geben oder Entscheidungen zu treffen. Manchmal ist eine menschliche Beteiligung dann nicht mehr notwendig. (Vgl. Europäische Kommission, 2022)

In Deutschland versucht der Gesetzgeber mit dem Allgemeinen Gleichbehandlungsgesetz (AGG) entgegenzuwirken. Umgangssprachlich wird es auch „Antidiskriminierungsgesetz“ genannt. Die gesetzlichen Regelungen haben das Ziel, Benachteiligungen aus den folgenden Gründen zu verhindern oder zu beseitigen:

Algorithmische Diskriminierung tritt auf, wenn ein automatisiertes Entscheidungssystem eine bestimmte Gruppe von Menschen benachteiligt. Das kann zufällig oder systematisch geschehen. Im Bereich der Informatik bezeichnet man ein Fehlverhalten, das auf einer systematischen Verzerrung beruht auch als Bias. (Vgl. Enquete-Kommission, 2020)

Eines der bekanntesten Beispiele für ein algorithmisches System zur Entscheidungsunterstützung ist das COMPAS System (Correctional Offender Management Profiling for Alternative Sanctions). Es wird in vielen US-Bundesstaaten dazu eingesetzt, die Gerichte bei Entscheidungen zu vorzeitigen Haftentlassungen zu unterstützen. Der Algorithmus liefert dabei eine Risikoprognose für potenzielle Strafrückfälligkeiten. Die Software ist dabei immer wieder scharfer Kritik ausgesetzt, da für schwarze Menschen das Risiko erneut eine Strafe zu begehen systematisch überbewertet wird. (Vgl. Orwat, 2019)

Typen von Diskriminierung:

Gesellschaftliche Relevanz

Im Internet und in Sozialen Netzwerken sorgen Algorithmen dafür, dass wir Werbeanzeigen und Meldungen angezeigt bekommen, die individuell auf unsere Interessen und Vorlieben zugeschnitten sind. Auch bei der Auswahl von Bewerbungen auf Arbeitsstellen oder der Anzeige möglicher Partnerinnen bzw. Partner bei Singlebörsen kommen algorithmische Systeme zum Einsatz.

Laut einer repräsentativen Umfrage von Overdiek & Petersen im Auftrag der Bertelsmann Stiftung aus dem Jahr 2022 hat sich im zeitlichen Verlauf der Informationsgrad der deutschen Bevölkerung über Algorithmen, Künstliche Intelligenz und deren Einsatzgebiete im Vergleich zur letzten Erhebung im Jahr 2018 um durchschnittlich 10 Prozentpunkte erhöht. Das Erkennen des Einflusses auf das eigene Leben fällt vielen Menschen jedoch noch schwer. So nehmen nur 29 % der Befragen einen starken oder sehr starken Einfluss auf ihren eigenen Alltag wahr.

Gerade im Bereich der Strafverfolgung ist der Einsatz solcher Systeme höchst umstritten, da es bereits Beispiele von Diskriminierungen von Menschen mit nicht-weißer Hautfarbe gibt. So kann die Software diese Personengruppen nicht so zuverlässig erkennen, womit im schlimmsten Fall unschuldige Menschen unter Verdacht geraten. (vgl. Enquete-Kommission, 2020)

Die Frage, warum die Menschen den Einsatz von algorithmischen Systemen oder KI zum überwiegenden Teil als harmlos ansehen und mit wenig Auswirkungen auf ihren Alltag wahrnehmen, lässt sich anhand der Studiendaten leider nicht beantworten. Einerseits könnten sich die Menschen durch gesetzliche Regelungen besonders gut vor missbräuchlicher oder benachteiligender Anwendung geschützt fühlen. Andererseits könnte ein Informationsdefizit vorliegen, d.h. dass die Menschen also gar nicht wissen, welche negativen Auswirkungen der Einsatz dieser Technologien haben kann.

Der Einsatz von algorithmischen Systemen wird in den nächsten Jahrzehnten noch stark zunehmen. Es ist also wichtig, dass sich bereits Schülerinnen und Schüler mit den positiven wie negativen Auswirkungen auf die diversen Lebens- und Arbeitsbereiche auseinandersetzen.

Probleme und Ursachen

Da Diskriminierung kein reines informatisches Problem darstellt, sondern vor allem auf gesellschaftlichen Gegebenheiten beruht, könnte man argumentieren, dass algorithmische Diskriminierungen keine großen Auswirkungen haben. Das Problem liegt aber darin, dass Menschen mathematische Modellierungen und Algorithmen subjektiv als objektiver und neutraler empfinden. Die Gesellschaft ist sich heute sehr bewusst, dass Menschen zu Vorurteilen neigen und Entscheidungsprozesse daher diskriminierend sein können. Das Problembewusstsein, dass sich diese auch in Algorithmen widerspiegeln können, ist noch wenig ausgeprägt. Sie vermitteln einen Anschein von Objektivität, der tatsächlich nicht gegeben ist. Der Datenanalyst Fred Benenson prägte dafür den Begriff „Mathwashing“.

Auswirkungen

Chancen

Menschen sind nicht perfekt. Entscheidungen werden oft nicht nur faktenbasiert getroffen. Die Arbeitsleistung hängt u.a. auch von der Tagesform oder Motivation ab. Algorithmen können also dazu beitragen, dass Entscheidungsprozesse fairer und in konstanterer Qualität getroffen werden.

Risiken

Wenn algorithmische Systeme Stereotype und soziale Ungerechtigkeiten aus den eingespeisten Datensätzen übernehmen, können diese reproduziert werden. Grundsätzlich könnte man nun argumentieren, dass Algorithmen damit auch nicht fehleranfälliger sind als menschliche Entscheidungsprozesse. Problematisch ist hier jedoch die große Effektivität automatisierter Prozesse. Da in wesentlich kürzerer Zeit viel mehr Entscheidungen getroffen werden bleibt zwar im besten Fall die Fehlerquote gleich, die absolute Menge an Fehlurteilen vervielfacht sich jedoch. Zum anderen haben Fehler viel schwerwiegendere Folgen, da der Algorithmus gleichbleibend immer wieder bei jedem Einzelfall die gleiche fehlerhafte Entscheidung trifft.

Außerdem weisen automatisierte Entscheidungssysteme weder moralische noch empathische Komponenten auf. Menschliche Entscheider können sich aufgrund der individuellen Faktenlage auch in die betroffenen Personen einfühlen und möglicherweise Ermessensspielräume oder individuelle Ausnahmeregelungen nutzen.

Anforderungen an algorithmische Systeme

Der AI Act teilt KI-Systeme in verschiedene Risikokategorien ein. KI-Systeme, die eine Bedrohung für Menschen, Sicherheit und Grundrechte darstellen können sind komplett verboten. In den anderen Risikostufen müssen die Unternehmen strenge Anforderungen für die Entwicklung, das Inverkehrbringen und die Nutzung erfüllen.

Unterrichtsmaterialien

Hier finden Sie Material, mit dem Sie algorithmische Diskriminierungen und deren Auswirkungen mit Ihren Schülerinnen und Schülern im Unterricht thematisieren können.