Automation bias: cos’è e come evitarlo nel lavoro legale

Che cos’è l’automation bias

L’automation bias (in italiano, distorsione dell’automazione) è la “possibile tendenza a fare automaticamente affidamento o a fare eccessivo affidamento sull’output prodotto da un sistema di IA ad alto rischio, in particolare quando utilizzato per fornire informazioni o raccomandazioni per decisioni che devono essere prese da persone fisiche”.

È questa la definizione specifica contenuta nell’art. 14, comma 4, lettera b) dell’AI Act, il regolamento europeo sull’intelligenza artificiale.

È utile perché consente di inquadrarlo come un fenomeno cognitivo: non un difetto di attenzione o di carattere, ma una deviazione che scatta in modo spontaneo. Tendiamo ad aderire a ciò che il sistema propone proprio perché il sistema lo propone in modo convincente.

Perché l’output dell’AI abbassa la guardia

Per capire perché la distorsione dell’automazione sia così facile da innescare serve un passo indietro su come funzionano questi sistemi. Un modello di intelligenza artificiale può arrivare alla risposta giusta per le ragioni sbagliate.

Un aneddoto noto tra gli addetti ai lavori: alcuni ricercatori addestrarono un modello a distinguere le immagini di lupi da quelle di husky. Sembrava funzionare alla perfezione, finché non gli mostrarono un lupo senza neve sullo sfondo e un husky nella neve: il modello sbagliò completamente. Non aveva imparato a riconoscere gli animali, ma a riconoscere la neve, che aveva associato ai lupi.

Il punto è che questi sistemi riconoscono schemi, non significati. Producono testi coerenti manipolando simboli, ma – per usare l’immagine della “stanza cinese” del filosofo John Searle – è come una persona che traduce caratteri cinesi seguendo un manuale, senza capire una parola di ciò che scrive. Dall’esterno sembra che comprenda; in realtà no.

Tradotto per il lavoro legale: proprio la fluenza e la coerenza formale di una risposta – ciò che ci rassicura – sono l’esca dell’automation bias. L’AI può descrivere in modo impeccabile, ma non comprende. Il “perché” di una scelta resta all’essere umano.

Automation bias e responsabilità professionale

Qui il tema smette di essere astratto. Quando un professionista prende l’output di un sistema di AI, ci mette la firma e lo deposita, quell’atto diventa suo, esattamente come se fosse stato preparato da un collaboratore. E con la firma arriva la responsabilità.

Vale la pena distinguere due situazioni. L’errore professionale, di per sé, può essere scusabile: l’obbligazione dell’avvocato è “di mezzi e non di risultato”, cioè non garantisce di vincere la causa, ma di lavorarci con diligenza. Se ha studiato il caso e fatto le ricerche, il fatto di non aver avuto una determinata intuizione difficilmente si traduce in responsabilità.

Diverso è il caso di chi sbaglia perché ha aderito acriticamente all’output dell’AI. Qui non si tratta più di un’idea mancata, ma di negligenza: è saltata proprio quell’attività di controllo e verifica che la diligenza – e sempre più la norma – impongono. In questa prospettiva, dimostrare di aver usato l’AI in modo critico e controllato diventa decisivo.

Cosa significa in pratica? Che scaricare un testo, firmarlo e depositarlo non lascia traccia di alcun governo del processo. Fare invece più passaggi (“modifica questo”, “approfondisci quest’altro”) è un’attività di controllo, e come tale va potuta documentare. Non limitarsi, insomma, a un solo prompt.

Come evitare l’automation bias: il controllo va abilitato

Come si evita, allora, l’automation bias? La risposta non sta soltanto nella buona volontà del singolo. Il rischio non è l’assenza totale di controllo umano, ma un controllo esercitato in modo attenuato, perché l’output viene percepito come già abbastanza affidabile. Per questo la sorveglianza umana non può ridursi a un adempimento formale, né a una clausola che scarica la responsabilità sull’utente.

La questione è di progettazione: i sistemi devono essere concepiti con interfacce e funzionalità che rendano possibile una supervisione effettiva. In un sistema verticale pensato per il settore legale, questo significa rendere verificabile il processo che porta alla risposta:

• fonti consultabili, per risalire a ciò su cui la risposta si fonda;
• passaggi logici ricostruibili, per capire come il sistema è arrivato a quell’output;
• tracciabilità dell’attività ed evidenza delle assunzioni fatte lungo il percorso.

Il controllo, insomma, resta umano ma deve essere tecnicamente abilitato. Senza strumenti di verifica, la supervisione rischia di essere soltanto dichiarata.

Un controllo verificabile con 4cAi X

È il principio su cui è costruito 4cAi X, il sistema di intelligenza artificiale verticale per il settore legale. 4cAi X cita le fonti a cui attinge – tutte verificate prima di essere citate – lasciando sempre il link consultabile, e rende visibile il “ragionamento” che porta alla risposta, così che il professionista possa controllarlo invece di accettarlo al buio.

Accanto allo strumento, gli incontri della Scuola Italiana dell’AI Legale aiutano a sviluppare le competenze per interagire con l’AI in modo critico, senza subirne gli output. Perché l’intelligenza artificiale potenzia il lavoro del professionista ma è il professionista che lo governa.

Scopri di più su 4cAi X.