Netzwelt

Diskriminierender Algorithmus

Patienten-Software benachteiligt Millionen Afroamerikaner

Ein Algorithmus hat offenbar Millionen Menschen in den USA zu Unrecht eine bessere medizinische Versorgung verweigert. Der Fall zeigt, wie Daten und Software unbemerkt diskriminieren können.

DPA

Afroamerikaner bekommen seltener eine Krankenhaus-Behandlung als Weiße

Von und
Freitag, 25.10.2019   17:07 Uhr

In den USA sind offenbar Millionen Afroamerikaner bei der medizinischen Versorgung benachteiligt worden. Laut einem Bericht im Wissenschaftsmagazin "Science" hat eine weit verbreitete Software weißen Patienten eher eine teure medizinische Behandlung zugesprochen als schwarzen.

In dem Bericht heißt es, dass der Algorithmus jedes Jahr für rund 200 Millionen Patienten in den USA ausrechnet, ob für sie zusätzliche Behandlungen infrage kommen. Die Software wird unter anderem von Krankenhäusern und Versicherungen eingesetzt, um automatisiert Patienten zu identifizieren, die am ehesten von aufwendigen und damit auch teuren Behandlungen profitieren würden.

Das Ergebnis: Afroamerikaner bekommen bei vergleichbar komplexen medizinischen Bedürfnissen seltener eine aufwendige Behandlung als Weiße.

Entwickler bestätigt die Vorwürfe der Forscher

Das Problem liegt laut den Wissenschaftlern an den Daten, mit denen der Algorithmus arbeitet. Als Grundlage für die Berechnung eines Risikofaktors habe der nämlich die Behandlungskosten eines Patienten genommen: Wer im Laufe des Jahres mehr Geld für medizinische Betreuung ausgibt, hat eine höhere Risikobewertung. Dieses Vorgehen klingt zunächst nachvollziehbar, da es davon ausgeht, dass höhere Behandlungskosten dafür sprechen, dass eine Person mehr medizinische Hilfe benötigt.

Doch laut der Studie sind Afroamerikaner in den USA unterversorgt und nehmen weniger medizinische Behandlungen in Anspruch. Im Schnitt liegen die Behandlungskosten um 1801 Dollar (etwa 1600 Euro) im Jahr niedriger als für einen vergleichbar kranken Weißen.

Ursachen für die geringeren Behandlungskosten von Afroamerikanern sind laut dem Bericht unter anderem Armut und Rassismus. Zwar seien die untersuchten Patienten alle versichert gewesen. Doch wirkten sich unter anderem der Wohnort, der Zugang zu Transportmitteln, ein fordernder Job, die Kinderbetreuung und mangelndes Vertrauen in das Gesundheitssystem darauf aus, dass sie weniger Behandlungen in Anspruch nehmen. Außerdem sei direkte Diskriminierung durch Ärzte ein Problem.

Die Folge: Afroamerikaner müssen kranker sein, damit die Software einen höheren Risikofaktor erkennt, der zusätzliche Unterstützung rechtfertigt. Demnach habe der Algorithmus nur 17,7 Prozent der dunkelhäutigen Patienten eine zusätzliche Behandlung zugestanden. Laut Forschern würde der Anteil bei 46,5 Prozent liegen, wenn die Software ohne Benachteiligung rechnen würde.

Die Forscher haben laut dem Wissenschaftsmagazin "Nature" die Entwickler mit dem Problem konfrontiert. Die Firma hat demnach die Vorwürfe bestätigt und will nun mit den Forschern zusammenarbeiten, um die Software zu überarbeiten.

Bürgerrechtler hoffen auf Lerneffekt in Deutschland

Das Problem hätte man bereits bei der Entwicklung bemerken können, sagt Matthias Spielkamp von der Bürgerrechtsorganisation AlgorithmWatch dem SPIEGEL. Es handele sich insofern um einen typischen Fall für einen diskriminierenden Algorithmus, da mit der Höhe der Behandlungskosten nur ein bestimmter Wert als Grundlage für eine Bewertung genommen wurde, "ohne den gesamten Zusammenhang zu betrachten".

Zwar seien solche Systeme in Deutschland noch nicht so weit verbreitet, aber in Nachbarländern würden durchaus ähnliche Algorithmen eingesetzt. Als Beispiele nennt Spielkamp etwa Algorithmen, die in den Niederlanden Sozialbetrug aufdecken, in Österreich Jobs vermitteln und in Dänemark Kinder schützen sollen. Diese Software-Helfer seien "zu Recht hoch umstritten".

Spielkamp hofft, dass die Entwickler in Deutschland aus den Fehlern der US-Kollegen lernen. Der Rückstand vor allem in der öffentlichen Verwaltung könne sich als Vorteil erweisen, da "wir uns der Risiken beim Einsatz algorithmischer Systeme besser bewusst sind und sie daher besser berücksichtigen können".

Anmerkung der Redaktion: Ursprünglich war in diesem Text der Begriff "Sonderbehandlung" verwendet worden. Dieser ist zur Zeit des NS-Regimes von Nationalsozialisten als Codewort für die Ermordung von Menschen verwendet worden. Wir haben den entsprechenden Passus geändert und bedanken uns bei den Lesern, die uns auf dieses Umstand hingewiesen haben.
Im vierten Absatz haben wir die Angaben zur Berechnung des Risikofaktors korrigiert.

insgesamt 45 Beiträge
martinmde 25.10.2019
1. Rassismus über 2 Ecken
geringeres Einkommen = keine Behandlung schwarz = geringeres Einkommen schwarz = keine Behandlungen ist das Rassismus oder einfach nur Statistik? Ich würde sagen letzteres.
geringeres Einkommen = keine Behandlung schwarz = geringeres Einkommen schwarz = keine Behandlungen ist das Rassismus oder einfach nur Statistik? Ich würde sagen letzteres.
syracusa 25.10.2019
2. EVA - Mist rein, Mist raus
Schon als ich noch mit Lochkarten meine ersten Programmierversuche für eine Maschine nach EVA Prinzip (Eingabe, Verarbeitung, Ausgabe) anstellte, lautete das Motto: Wenn man Mist reinschickt, kann nur Mist rauskommen. Das scheint [...]
Schon als ich noch mit Lochkarten meine ersten Programmierversuche für eine Maschine nach EVA Prinzip (Eingabe, Verarbeitung, Ausgabe) anstellte, lautete das Motto: Wenn man Mist reinschickt, kann nur Mist rauskommen. Das scheint heute oft vergessen zu werden.
Leser161 25.10.2019
3. Genau das ist das Problem mit Big Data
Und eigentlich ist es so offensichtlich, dass ich mich frage warum es nicht schon eine gesamtgesellshaftliche Diskussion gibt. Wenn Polizisten aus Fleisch und Blut einzelne Personen diskrimieren, dann schreien alle. Wenn Software [...]
Und eigentlich ist es so offensichtlich, dass ich mich frage warum es nicht schon eine gesamtgesellshaftliche Diskussion gibt. Wenn Polizisten aus Fleisch und Blut einzelne Personen diskrimieren, dann schreien alle. Wenn Software Millionen diskriminiert interessiert es keinen. Auch hier in Deutschland. Denn die ganzen Scorer sagen zwar das sie die Zahlungsfähigkeit von Leuten berechnen können. Aber stimmt das überhaupt? Wurde das mal verifiziert? Vielleicht handelt es sich dort auch um automatische Diskrimierung.
erwachsener 25.10.2019
4. Kennzahlenhörigkeit
Hier wurden offenbar gleich mehrere fehler begangen... Zuerst natürlich die weit verbreitete Kennzahlenhörigkeit. Eine irgendwie berechnete Zahl wird als allein wahres Kriterium für komplexe Entscheidungen verwendet, [...]
Hier wurden offenbar gleich mehrere fehler begangen... Zuerst natürlich die weit verbreitete Kennzahlenhörigkeit. Eine irgendwie berechnete Zahl wird als allein wahres Kriterium für komplexe Entscheidungen verwendet, anscheinend ohne daß vorher mal gezeigt wurde, ob diese Zahl überhaupt relevant ist. Zum anderen der wirklich sehr weit verbreitete Statistische Fehlschluß, von einer Statistik über viele Einzefälle auf einen gegebenen neuen Einzelfall zurückschließen zu wollen. Das geht nicht! Das ist mathematisch unzulässig! Nur weil die Einschaltquote für den letzten Tatort hoch war, hab ich ihn noch lange nicht gesehen. Und bevor mir jetzt jemand mit Bayes kommt: da kommen auch nur Wahrscheinlichkeiten raus, keine Gewißheiten. Auch Bayes kann die Frage, ob ich den Tatort gesehen habe, nicht mit Sicherheit beantworten. Das kann nur, wer mich gezielt danach fragt. So wie ein Arzt im Gespräch mit dem Patienten und durch medizinische diagnostik herausfinden sollte, welche Behandlung angezeigt ist.
klimaterium 25.10.2019
5. @2
Das mit dem Mist ist nicht ganz richtig. Die Daten sind ja nicht Mist. Durchschnitt bleibt Durchschnitt. Es sind für die Risikobewertung einfach die falschen Daten.
Das mit dem Mist ist nicht ganz richtig. Die Daten sind ja nicht Mist. Durchschnitt bleibt Durchschnitt. Es sind für die Risikobewertung einfach die falschen Daten.

Verwandte Themen

Verwandte Artikel

© SPIEGEL ONLINE 2019
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung

TOP