Über den Blog Beiträge – Übersicht

---

Machtstrukturen, Maschinen und Muslim*innen

veröffentlicht am 28.11.2022

Maike Sieler ist Assistentin und Doktorandin am Religionswissenschaftlichen Seminar und Teil des PhD-Excellence Programs der Digital Society Initiative der Universität Zürich. In ihrer Promotion beschäftigt sie sich mit den sozialen Implikationen von AI-Technologien sowie deren Rückkopplungen auf religiöse und gesellschaftliche Meinungsbildungsprozesse.

Propaganda- und explizite Enthauptungsvideos des sogenannten Islamischen Staates seien ihm schon häufiger in seiner Facebook Timeline angezeigt worden. Das berichtete ein Ahmadiyya Jamaat-Muslim (islamische Gemeinschaft mit Ursprung in Indien), Mitte 20, in einem Gespräch über Erfahrungen mit anti-muslimischem Rassismus im Alltag. Zeitlich liegen diese Empfehlungen des sozialen Netzwerkes in einem Abschnitt, in dem der IS eine gezielte Social-Media Kampagne verfolgte, um potenzielle Kämpfer*innen zu rekrutieren (vgl. Berger, Gimpel 2015). Nie zuvor habe er mit solchem Content interagiert oder danach gesucht. Weiter erzählte er, dass auch andere Mitglieder aus seiner Gemeinde in Hessen ähnliche Erfahrung gemacht hätten.

Wie konnte es dazu kommen, dass die Facebook Algorithmen dem Mann solche Inhalte anzeigten? Das Anzeigen der Inhalte ist wahrscheinlich mit dem zu begründen, was in technischen Disziplinen und in Sozialwissenschaften als Bias in AI (Bias Künstlicher Intelligenz) bezeichnet wird (vgl. Barocas et. al 2019). Von Bias in AI ist die Rede, wenn AI-Technologien, hier konkret Facebook Algorithmen, historisch gewachsene, gesellschaftliche Machtstrukturen fortsetzen und verstärken. Im Falle des Interviewten werden Indikatoren, die als muslimisch bewertet werden, mit dem IS gleichgesetzt. Auch in analogen Kontexten finden sich Beispiele, in denen die weiße Mehrheitsgesellschaft Muslim*in mit Islamist*in gleichsetzt (vgl. Shooman 2014: 63).

Ein Beispiel für eine soziale Implikation von Technik, lange bevor Algorithmen Teil des Diskurses und der darüber hinaus gehenden sozialen Realitäten wurden, ist die erste Farbreferenzkarte: die Shirley-Karte des Fotografie-Unternehmens KODAK in den 1940-ern. Die Shirley-Karte wurde in Fotolaboren dazu genutzt, die Hautfarbe der abgelichteten Person korrekt darzustellen. Das Hilfsmittel funktionierte allerdings nur bei weißen Menschen, die die Farbabgleichstabelle als normal listete. Die Konturen und Mimik von BIPoC (Schwarze, Indigene und People of Color) waren aufgrund des mangelnden Farbabgleiches nur schwer zu erkennen (Roth 2009). Weil in der Produktion der Shirley-Karte nur auf weiße Menschen geachtet wurde, führte die Anwendung der Karte zu einer technologisierten Benachteiligung von BIPoC. Auch heute noch reproduzieren Fototechnologien soziale Machtverhältnisse; so erkennen manche automatisierte Bilderkennungssoftwares zum Beispiel BIPoC schlechter als weiße Menschen (vgl. Crawford 2016).

Technik und Technologien sind nicht objektiv oder neutral. Sie sind ein integrativer Bestandteil unserer Gesellschaft, welche soziale Machtstrukturen reproduzieren. Das ist auch bei algorithmischen Systemen so. Wenn Menschen Werkzeuge und Technologien erschaffen, reproduzieren sie gleichzeitig bestehende gesellschaftliche Machtverhältnisse. In den allermeisten Fällen geschieht das unwissend. Kate Crawford, Expertin für Bias in AI, bezeichnet das Problem der Fortsetzung von Machtstrukturen in Algorithmen als „The White Guys’ Problem“ (Crawford 2016). Crawford kritisiert unter anderem, dass es hauptsächlich weiße Männer seien, die Algorithmen für die breite Gesellschaft schreiben. Diese recht homogene Gruppe sei häufig nicht für die sozialen Implikationen von AI-Technologien sensibilisiert und gleichzeitig von der digitalen Fortsetzung historisch gewachsener Machtstrukturen meist nicht negativ betroffen (vgl. Crawford 2016).

Diskriminierender Output algorithmischer Systeme trifft meist diejenigen, die auch in nicht-digitalisierten Kontexten Diskriminierung erfahren. Dazu gehören auch religiöse Gruppen oder Minderheiten. Warum wurde dem Interviewten also Content vom IS vorgeschlagen?

Das Ziel der Social-Media-Betreiber*innen ist es, dass User*innen möglichst viel Zeit auf ihren Plattformen verbringen. Das funktioniert am besten mit der Priorisierung von schockierenden Inhalten und nach dem Prinzip der Homophilie. Nach dem Prinzip der Homophilie werden Benutzer*innen Inhalte präsentiert, mit denen auch vermeintlich ähnliche User*innen interagiert haben (vgl. Chun 2018). Hierbei kann es zu einer proxy-Diskriminierung kommen, bei der AI-Technologien korrelierende Indikatoren, wie hier Religionszugehörigkeiten, nutzen, um Vorhersagen über die Interessen der Benutzer*innen zu treffen. Dem sozialen Netzwerk waren Daten wie z.B. der arabische Name des Interviewpartners, seine Online-Zeiten, Gruppenmitgliedschaften und Freund*innen bekannt. Diese Informationen werden mit anderen User*innen abgeglichen. Folglich zeigte der Vorschlagsalgorithmus ihm Inhalte an, mit denen vermeintlich ähnliche Benutzer*innen interagierten. Der Bias, mit dem der Ahmadi hier konfrontiert war, ist entweder auf die zugrundliegenden Datensätze oder auf eine Implementierung bestimmter Lernregeln zurückzuführen. Das Beispiel zeigt, welche weitreichenden Auswirkungen Bias in AI bereits aufgrund von Merkmalen wie etwa eines Vornamens haben kann: Menschen werden unfreiwillig mit Inhalten konfrontiert, die teils weitab ihrer eigenen Interessen liegen und wie bei von Propagandavideos (re-)traumatisierend sein oder Menschen extremisieren können.

Anmerkung:

Der Blogartikel basiert zu großen Teilen auf einem semistrukturellen Interview, das im Sommer 2017 von Maike Sieler in Hessen mit einem Ahmadiyya Jamaat-Muslim geführt wurde.