L’AI come ‘dipendente’ riduce la responsabilità umana e aumenta gli errori: uno studio

Contesto

Una ricerca condotta da Emma Wiles, professoressa di economia alla Boston University, ha esplorato l'impatto di come gli strumenti di Intelligenza Artificiale vengono percepiti e presentati nelle aziende. Lo studio ha rilevato che i manager individuavano il 18% in meno di errori quando il lavoro era attribuito a un 'dipendente AI' con un nome e responsabilità definite, rispetto a quando proveniva da un semplice chatbot. I partecipanti erano anche il 44% più propensi a demandare la revisione di lavori discutibili a un superiore anziché correggerli autonomamente, vanificando l'efficienza attesa dall'AI. Circa un terzo dei 1.261 manager intervistati ha dichiarato che le loro aziende già inquadrano gli agenti AI come dipendenti, e il 23% li include nelle proprie organigramme. Questo fenomeno è alimentato dalle dichiarazioni di CEO come Jensen Huang di Nvidia e dal lancio di nuovi strumenti di gestione di team AI da parte di Microsoft, OpenAI, Anthropic e Google, spesso pubblicizzati come 'colleghi digitali'. Tale approccio, secondo la ricerca, inverte il senso di chi è al comando, portando gli esseri umani a sentirsi meno responsabili dell'output dell'AI.

Perché conta

La tendenza a personificare gli strumenti AI ha profonde implicazioni per la compliance e la governance, specialmente per il rispetto del futuro AI Act e degli standard ISO 27001. La diminuzione della responsabilità umana e l'aumento degli errori non intercettati pongono seri rischi per l'integrità dei processi e la sicurezza delle informazioni. Secondo l'AI Act, è fondamentale mantenere la supervisione umana (human oversight) per garantire affidabilità e accountability. Se i dipendenti si sentono meno responsabili, aumentano le probabilità di fallimenti o incidenti, con conseguenti sanzioni e danni reputazionali. Inoltre, la confusione sui ruoli e le responsabilità degli agenti AI rispetto agli operatori umani mina i principi di gestione dei rischi e di definizione dei ruoli, essenziali per la certificazione ISO 27001 e per la Direttiva NIS2, qualora l'AI sia impiegata in servizi essenziali o importanti. È cruciale che le organizzazioni definiscano chiaramente che l'AI è uno strumento di supporto e che la responsabilità finale ricade sempre sugli esseri umani, specialmente quando l'AI è integrata in settori critici come la sanità o la pubblica amministrazione.

Cosa fare

• Mantenere una terminologia chiara, definendo gli strumenti AI come software o supporti, non come 'dipendenti' o 'colleghi'.
• Rafforzare la formazione interna per enfatizzare la responsabilità ultima degli operatori umani sugli output generati dall'AI.
• Implementare processi di revisione e validazione chiari che prevedano la supervisione umana obbligatoria e critica degli output AI.

Cosa evitare

• Evitare di etichettare gli strumenti AI come 'dipendenti digitali' o 'colleghi' nelle comunicazioni interne o esterne.
• Non scaricare la colpa su sistemi AI per fallimenti che sono il risultato di decisioni, incentivi o supervisione umana errata.
• Non sottovalutare l'importanza del controllo umano sugli output dell'AI, anche per non vanificare gli obiettivi di efficienza.

Implicazioni pratiche

Le organizzazioni che integrano l'Intelligenza Artificiale nei loro processi devono affrontare una sfida significativa legata alla percezione e alla definizione dei ruoli. Se l'AI viene trattata come un 'collega' o 'dipendente', si rischia di diluire il senso di responsabilità degli operatori umani, portando a una minore attenzione agli errori, a un aumento delle escalation inutili e a un potenziale scarico di responsabilità in caso di fallimenti. Questo può avere conseguenze gravi in termini di efficacia operativa, compliance normativa (es. AI Act, ISO 27001) e reputazione, specialmente in settori ad alto rischio.

Azioni da fare

• Redigere o aggiornare le policy interne per definire chiaramente la natura degli strumenti AI e le responsabilità associate al loro uso.
• Sviluppare programmi di formazione specifici per i dipendenti che utilizzano l'AI, enfatizzando il loro ruolo di supervisori e decisori finali.
• Stabilire protocolli di audit e di verifica periodica sugli output dei sistemi AI per garantire la costante supervisione umana e la correzione tempestiva degli errori.
• Creare una cultura organizzativa che valorizzi la collaborazione uomo-AI come supporto, mantenendo salda la responsabilità umana.

Errori da evitare

• Consentire che la terminologia aziendale personifichi gli strumenti AI, confondendo i ruoli tra software e persona.
• Assumere che gli strumenti AI possano operare con l'autonomia e la responsabilità etica di un essere umano.
• Trascurare la necessità di una supervisione umana rigorosa e critica sugli output generati dagli strumenti AI, specialmente in contesti decisionali.
• Utilizzare l'AI come pretesto per ridurre la responsabilità individuale dei dipendenti.

Domande di self-assessment

• Come vengono presentati e definiti gli strumenti AI all'interno della nostra organizzazione e nelle nostre comunicazioni?
• I nostri dipendenti comprendono chiaramente le loro responsabilità individuali quando interagiscono con i sistemi AI e sugli output prodotti?
• Abbiamo implementato processi robusti per la revisione, la convalida e l'approvazione degli output generati dall'AI, specialmente in aree critiche?
• Le nostre policy interne e i programmi di formazione riflettono l'importanza della supervisione e della responsabilità umana nell'uso dell'Intelligenza Artificiale?

Riferimenti

Normativa nazionale: Futuro AI Act (requisiti di supervisione umana e accountability) · ISO/IEC 27001 (A.5.1 Ruoli e responsabilità, A.8.1.1 Policy per l'uso accettabile delle risorse, A.12.1.1 Gestione delle operazioni)