KI als ‘Mitarbeiter’ reduziert menschliche Verantwortung und erhöht Fehler: eine Studie

Hintergrund

Eine von Emma Wiles, Professorin für Wirtschaftswissenschaften an der Boston University, durchgeführte Untersuchung hat den Einfluss erforscht, wie Künstliche Intelligenz (KI)-Tools in Unternehmen wahrgenommen und präsentiert werden. Die Studie ergab, dass Manager 18 % weniger Fehler entdeckten, wenn die Arbeit einem 'KI-Mitarbeiter' mit einem definierten Namen und Verantwortlichkeiten zugeschrieben wurde, im Vergleich zu einem einfachen Chatbot. Die Teilnehmer waren auch zu 44 % eher geneigt, die Überprüfung fragwürdiger Arbeiten an einen Vorgesetzten zu delegieren, anstatt sie eigenständig zu korrigieren, was die von KI erwartete Effizienz zunichtemachte. Etwa ein Drittel der 1.261 befragten Manager gab an, dass ihre Unternehmen KI-Agenten bereits als Mitarbeiter einordnen, und 23 % nehmen sie in ihre Organigramme auf. Dieses Phänomen wird durch Aussagen von CEOs wie Jensen Huang von Nvidia und die Einführung neuer KI-Team-Management-Tools von Microsoft, OpenAI, Anthropic und Google befeuert, die oft als 'digitale Kollegen' beworben werden. Dieser Ansatz, so die Forschung, kehrt das Gefühl um, wer das Kommando hat, und führt dazu, dass sich Menschen weniger für die KI-Ausgabe verantwortlich fühlen.

Warum es wichtig ist

Die Tendenz, KI-Tools zu personifizieren, hat tiefgreifende Auswirkungen auf Compliance und Governance, insbesondere im Hinblick auf die Einhaltung des zukünftigen AI Act und der ISO 27001-Standards. Die Abnahme der menschlichen Verantwortung und die Zunahme unentdeckter Fehler bergen ernsthafte Risiken für die Prozessintegrität und die Informationssicherheit. Gemäß dem AI Act ist es entscheidend, die menschliche Aufsicht (human oversight) aufrechtzuerhalten, um Zuverlässigkeit und Verantwortlichkeit zu gewährleisten. Wenn Mitarbeiter sich weniger verantwortlich fühlen, steigen die Wahrscheinlichkeiten für Fehlfunktionen oder Vorfälle, mit daraus resultierenden Sanktionen und Reputationsschäden. Darüber hinaus untergräbt die Verwirrung über die Rollen und Verantwortlichkeiten von KI-Agenten im Vergleich zu menschlichen Bedienern die Prinzipien des Risikomanagements und der Rollendefinition, die für die ISO 27001-Zertifizierung und die NIS2-Richtlinie unerlässlich sind, falls KI in wesentlichen oder wichtigen Diensten eingesetzt wird. Es ist entscheidend, dass Organisationen klar definieren, dass KI ein Unterstützungswerkzeug ist und die letztendliche Verantwortung immer bei den Menschen liegt, insbesondere wenn KI in kritischen Sektoren wie dem Gesundheitswesen oder der öffentlichen Verwaltung integriert ist.

Was zu tun ist

• Eine klare Terminologie beibehalten und KI-Tools als Software oder Unterstützungssysteme definieren, nicht als 'Mitarbeiter' oder 'Kollegen'.
• Interne Schulungen verstärken, um die letztendliche Verantwortung menschlicher Bediener für die von KI generierten Ausgaben zu betonen.
• Klare Überprüfungs- und Validierungsprozesse implementieren, die eine obligatorische und kritische menschliche Aufsicht über KI-Ausgaben vorsehen.

Was zu vermeiden ist

• Vermeiden, KI-Tools in internen oder externen Kommunikationen als 'digitale Mitarbeiter' oder 'Kollegen' zu bezeichnen.
• Die Schuld für Misserfolge, die auf Fehlentscheidungen, falsche Anreize oder mangelnde menschliche Aufsicht zurückzuführen sind, nicht auf KI-Systeme abwälzen.
• Die Bedeutung der menschlichen Kontrolle über KI-Ausgaben nicht unterschätzen, auch um Effizienzziele nicht zunichte zu machen.

Praktische Auswirkungen

Organisationen, die Künstliche Intelligenz in ihre Prozesse integrieren, stehen vor einer erheblichen Herausforderung in Bezug auf die Wahrnehmung und Rollendefinition. Wird KI als 'Kollege' oder 'Mitarbeiter' behandelt, besteht die Gefahr, das Verantwortungsbewusstsein menschlicher Bediener zu verwässern, was zu geringerer Fehleraufmerksamkeit, einem Anstieg unnötiger Eskalationen und einer potenziellen Verantwortungsverschiebung im Falle von Fehlern führen kann. Dies kann schwerwiegende Folgen für die operative Effizienz, die Einhaltung gesetzlicher Vorschriften (z.B. AI Act, ISO 27001) und den Ruf haben, insbesondere in Hochrisikobereichen.

Empfohlene Maßnahmen

• Interne Richtlinien erstellen oder aktualisieren, um die Natur von KI-Tools und die damit verbundenen Verantwortlichkeiten klar zu definieren.
• Spezielle Schulungsprogramme für Mitarbeiter entwickeln, die KI nutzen, wobei ihre Rolle als Aufsichtspersonen und letztendliche Entscheidungsträger betont wird.
• Audit- und regelmäßige Überprüfungsprotokolle für die Ausgaben von KI-Systemen etablieren, um eine konstante menschliche Aufsicht und die rechtzeitige Fehlerkorrektur zu gewährleisten.
• Eine Organisationskultur schaffen, die die Mensch-KI-Zusammenarbeit als Unterstützung schätzt, wobei die menschliche Verantwortung fest verankert bleibt.

Zu vermeidende Fehler

• Zulassen, dass die Unternehmensterminologie KI-Tools personifiziert und die Rollen zwischen Software und Person verwischt.
• Annehmen, dass KI-Tools mit der Autonomie und ethischen Verantwortung eines Menschen operieren können.
• Die Notwendigkeit einer strengen und kritischen menschlichen Aufsicht über die von KI-Tools generierten Ausgaben vernachlässigen, insbesondere in Entscheidungskontexten.
• KI als Vorwand nutzen, um die individuelle Verantwortung der Mitarbeiter zu reduzieren.

Fragen zur Selbsteinschätzung

• Wie werden KI-Tools innerhalb unserer Organisation und in unseren Kommunikationen präsentiert und definiert?
• Verstehen unsere Mitarbeiter klar ihre individuellen Verantwortlichkeiten bei der Interaktion mit KI-Systemen und den erzeugten Ausgaben?
• Haben wir robuste Prozesse für die Überprüfung, Validierung und Genehmigung der von KI generierten Ausgaben implementiert, insbesondere in kritischen Bereichen?
• Spiegeln unsere internen Richtlinien und Schulungsprogramme die Bedeutung der menschlichen Aufsicht und Verantwortung beim Einsatz von Künstlicher Intelligenz wider?

Verweise

Nationales Recht: Futuro AI Act (requisiti di supervisione umana e accountability) · ISO/IEC 27001 (A.5.1 Ruoli e responsabilità, A.8.1.1 Policy per l'uso accettabile delle risorse, A.12.1.1 Gestione delle operazioni)