KI im Recruiting: Wenn der Algorithmus diskriminiert und niemand es merkt

Eigentlich sollte KI im Recruiting für mehr Fairness sorgen. Schließlich haben Maschinen weder Vorurteile noch schlechte Tage. Und schon gar keine unbewussten Sympathien für Bewerber, die zufällig denselben Fußballverein mögen wie der Hiring Manager. So zumindest lautet das Versprechen der Branche. Die Realität sieht jedoch etwas anders aus. Denn wer genau hinschaut, stellt fest, dass die Probleme nicht zufällig entstehen, sondern in der Architektur dieser Systeme selbst begründet sind.

Proxy-Diskriminierung: kein Bug, sondern Feature

Wer verstehen will, warum KI-basierte Screening-Systeme systematisch diskriminieren können, kommt an einer Studie nicht vorbei, die das Phänomen „Proxy-Diskriminierung“ direkt beim Namen nennt: „Proxy Discrimination in the Age of Artificial Intelligence and Big Data“ von Prince und Schwarcz. Die Kernthese: Wenn ein geschütztes Merkmal – etwa Geschlecht, Herkunft oder Alter – Vorhersagekraft für das Auswahlziel aufweist, die nicht durch andere Variablen vollständig abgedeckt wird, ist Proxy-Diskriminierung durch KI im wahrsten Sinne des Wortes praktisch vorprogrammiert.

Das mag abstrakt klingen, ist im Kern aber einfach: Entzieht man einer KI z. B. das Merkmal „Geschlecht“, sucht sie sich die gleiche Vorhersagekraft über Umwege – etwa über Wortwahl, Bildungswege, Vereinsmitgliedschaften oder eine beliebige Kombination aus hunderten anderer Signale. Das Problem: Verbietet man der KI den offensichtlichen Stellvertreter, nimmt sie einfach den nächsten, und der ist in der Regel weniger intuitiv erkennbar. Das Modell optimiert, und solange es im Datenraum fündig wird, optimiert es munter weiter. Das geschieht nicht etwa aus Absicht, sondern weil es schlicht jedes Muster nutzt, das die Trefferquote verbessert. Ganz egal, ob das fair ist oder nicht.

Amazon hat dies bereits 2018 mustergültig vorgeführt: Das konzerneigene Recruiting-Tool diskriminierte Frauen, obwohl das Geschlecht explizit aus den Trainingsdaten entfernt worden war. Die KI hatte Abschlüsse von Frauenhochschulen und Begriffe wie „Frauen-Schachclub” als Negativsignale gelernt. Das System wurde daraufhin eingestellt, doch der Mechanismus ist seitdem nicht verschwunden, im Gegenteil: Eine Studie der Brookings Institution hat unter Verwendung aktueller Sprachmodelle und von knapp 40.000 Lebenslauf-Vergleichen nachgewiesen, dass identische Lebensläufe je nach Vorname massiv unterschiedlich bewertet werden. Demnach bevorzugte die KI „weiß” assoziierte Namen in 85 % der Fälle, bei „schwarz” assoziierten Namen waren es hingegen nur 9 %.

Workdays unfreiwillige „Selbstanzeige“

Was passiert, wenn dieser Mechanismus nicht im Labor, sondern im Echteinsatz wirkt, zeigt der Fall Workday. Dies nicht nur durch die Sammelklage mit mittlerweile über 14.000 angeschlossenen Klägern, sondern durch etwas, das man fast schon als unfreiwillige Selbstanzeige lesen kann: Workday hat die Ergebnisse eines externen Bias-Audits auf der eigenen Website veröffentlicht, die auf 724.352 Bewerbungen bei zehn Großkunden basieren. Die Wahrscheinlichkeit, dass die vom Auditor gemessenen Abweichungen zufällig zustande gekommen sind, liegt nach Berechnung der Kläger bei unter eins zu einer Billiarde. Wohlgemerkt: Die zugrunde liegenden Daten stammen nicht von den Klägern, sondern von einem Auditor, den Workday selbst beauftragt hat.

Inzwischen scheint man bei Workday die Brisanz der eigenen Veröffentlichung vor dem Hintergrund der laufenden Klage allerdings erkannt zu haben: Die ursprünglichen Audit-Daten wurden von der Website entfernt und stillschweigend durch eine deutlich enger gefasste Analyse ersetzt. Das Original ist nur noch über die Wayback Machine abrufbar.

Das deutsche Recht erkennt das Problem, stößt aber an seine Grenzen

Wer sich jetzt fragt, ob das Allgemeine Gleichbehandlungsgesetz (AGG) hier wenigstens Schutz bietet, findet die ernüchternde Antwort in einem Rechtsgutachten der Antidiskriminierungsstelle des Bundes: Das AGG erfasst zwar grundsätzlich mittelbare Diskriminierung, aber wer von einer KI aussortiert wird, weiß in der Regel nicht einmal, dass ein Algorithmus am Werk war, geschweige denn, welche Variablen dieser gewichtet hat. Wie Prince und Schwarcz es für den technischen Mechanismus beschreiben, lokalisiert auch dieses Gutachten die Schutzlücke auf der rechtlichen Seite exakt an derselben Stelle:  Proxy-Diskriminierung durch KI verschleiert die Anknüpfung an ein geschütztes Merkmal so gründlich, dass Betroffene die vom AGG geforderten Indizien schlicht nicht liefern können, da sie weder Einblick in die Funktionsweise des Systems haben noch einen Anspruch darauf.

Der Fall Eightfold: Wenn Bewerber ohne ihr Wissen bewertet werden

Dass Intransparenz beim Einsatz von KI im Recruiting alles andere als ein theoretisches Problem ist, zeigt die seit Januar 2026 laufende Sammelklage gegen die KI-Plattform Eightfold AI. Deren Plattform wird in Deutschland unter anderem von Bayer, Vodafone und Telekom eingesetzt. Laut der Klage sollen die Profile von mehr als einer Milliarde Menschen algorithmisch bewertet worden sein, ohne dass diese davon wussten und ohne dass ihnen Einsicht gewährt wurde oder sie Fehler hätten korrigieren können. Die Klage richtet sich nicht gegen Diskriminierung, sondern gegen die Heimlichkeit des Verfahrens. Damit stellt sich die Frage, wie viel Arbeitgeber, die solche Systeme einsetzen, eigentlich über deren Funktionsweise wissen. Die ehrliche Antwort dürfte in den meisten Fällen lauten: deutlich weniger, als für eine verantwortungsvolle Personalentscheidung nötig wäre.

Ab dem 2. August zählt „Das wusste ich nicht“ nicht mehr

Was der deutsche Gesetzgeber bislang versäumt hat, regelt nun Europa. Zumindest auf dem Papier. Der EU AI Act stuft KI-Systeme, die Bewerbungen filtern, bewerten oder ranken, ab dem 2. August 2026 als Hochrisiko ein. Das bedeutet Transparenzpflicht gegenüber Bewerbern, dokumentiertes Risikomanagement, menschliche Aufsicht und eine Konformitätsbewertung durch zertifizierte Stellen. Dies ist keine Selbstverpflichtung, sondern eine gesetzliche Pflicht, die mit Bußgeldern von bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes geahndet wird.

Das kann also richtig wehtun. Umso wichtiger ist es deshalb, dass sich Arbeitgeber, die KI-gestütztes Screening einsetzen, jetzt diese drei Fragen stellen:

• Wurde das System unabhängig auf Diskriminierung geprüft und kann ich die Ergebnisse einsehen?
• Wissen meine Bewerber, dass eine KI mitentscheidet?
• Und: Wer in meinem Unternehmen prüft laufend, ob das System faire Ergebnisse liefert? Dabei geht es nicht darum, wer den Vertrag unterschrieben hat, sondern wer die Ergebnisse tatsächlich kontrolliert.

Hinter diesen drei Fragen steht allerdings eine Frage, die sich weder technisch noch juristisch beantworten lässt, sondern nur mit Haltung:

Wo im Prozess lassen wir KI über Menschen entscheiden – und wo lassen wir sie nur dabei unterstützen, damit Menschen bessere Entscheidungen treffen?