L'equilibrio tra automazione e giudizio umano

Automazione e giudizio umano Non si tratta di opposti che convergono verso una soluzione in cui il vincitore prende tutto: sono capacità complementari la cui combinazione ottimale rappresenta la sfida progettuale centrale del prossimo decennio in ogni ambito in cui viene impiegata l'intelligenza artificiale.

L'idea che l'automazione si limiti a sostituire il giudizio umano è empiricamente errata: decenni di ricerca sulla collaborazione uomo-macchina dimostrano costantemente che i migliori risultati in medicina, diritto, finanza e operazioni militari derivano da sistemi che combinano il riconoscimento automatico di modelli con il ragionamento contestuale umano, piuttosto che ottimizzare uno solo dei due.

L'aviazione fornisce la prova a lungo termine più evidente: il volo commerciale moderno utilizza l'automazione per circa il 90% delle operazioni di volo, eppure il giudizio del pilota rimane il fattore critico negli incidenti che l'automazione previene e nelle emergenze che l'automazione non può risolvere senza l'intervento umano.

La domanda a cui organizzazioni, governi e individui devono rispondere non è se automatizzare o meno, ma quali decisioni specifiche traggono vantaggio dall'automazione, quali richiedono il giudizio umano e quali necessitano dell'integrazione di entrambi: una domanda più complessa che produce risultati migliori rispetto alla dicotomia che domina il dibattito pubblico.

La pressione economica verso la massima automazione è reale e forte: i sistemi automatizzati sono più economici, più veloci e più affidabili del giudizio umano per una gamma sempre più ampia di compiti, creando una pressione competitiva per automatizzare a prescindere dal fatto che ciò produca o meno decisioni complessivamente migliori.

Comprendere dove l'automazione supera effettivamente il giudizio umano, dove il giudizio umano supera effettivamente l'automazione e dove l'integrazione produce risultati che nessuno dei due può raggiungere da solo è il quadro analitico più importante a livello pratico per orientarsi nel prossimo decennio.

Dove l'automazione vince davvero

L'automazione supera il giudizio umano in una specifica e ben definita classe di problemi: quelli con regole chiare, grandi insiemi di dati, ambienti stabili e risultati che possono essere misurati con precisione e reintrodotti nel sistema.

Il riconoscimento di pattern su larga scala è l'ambito in cui il vantaggio dell'automazione è più decisivo: un algoritmo ben addestrato che esamina diecimila immagini mediche all'ora con un'attenzione costante supera un radiologo che ne esamina cinquanta al giorno con un'attenzione variabile, soggetta ad affaticamento e a distorsioni cognitive che nessun addestramento, per quanto accurato, può eliminare completamente.

La coerenza è il vantaggio più sottovalutato dell'automazione: il giudizio umano varia in base all'ora del giorno, alle decisioni precedenti, allo stato emotivo e alle condizioni fisiche, producendo input identici che generano output diversi, mentre i sistemi automatizzati applicano regole identiche in modo identico, indipendentemente dalle condizioni esterne.

Una ricerca condotta da Daniel Kahneman e colleghi ha documentato il "rumore" – la variabilità nel giudizio umano che produce decisioni diverse a partire dalle stesse informazioni in circostanze diverse – come una fonte sistematica di errore che costa significativamente a organizzazioni e individui e che l'automazione elimina a livello strutturale, senza richiedere una disciplina continua per essere gestita.

L'automazione elimina anche le pressioni sociali e politiche che distorcono il giudizio umano: un algoritmo di valutazione del credito esamina le domande utilizzando gli stessi criteri, indipendentemente dal fatto che il richiedente sia simpatico, ben vestito o condivida il background del valutatore, eliminando così le incongruenze prodotte dai pregiudizi umani.

Il trading ad alta frequenza, il rilevamento delle frodi, il filtraggio dello spam e l'analisi delle immagini mediche sono ambiti in cui l'automazione ha dimostrato una superiorità chiara e costante, non perché questi compiti non richiedano intelligenza, ma perché necessitano di quel tipo specifico di intelligenza basata sul riconoscimento di modelli che i sistemi di apprendimento automatico eseguono con un'affidabilità che le prestazioni umane non possono eguagliare su larga scala.

++ Il legame tra creatività e flessibilità mentale

Laddove il giudizio umano rimane essenziale

Il giudizio umano conserva vantaggi decisivi in una diversa e altrettanto ben definita classe di problemi: quelli che coinvolgono situazioni nuove, dimensioni etiche, complessità contestuale e la necessità di spiegare le decisioni ad altri esseri umani in modo da generare un'autorità legittima.

Le situazioni nuove rappresentano il punto debole fondamentale dell'automazione: i sistemi addestrati su dati storici si comportano bene all'interno della distribuzione di situazioni coperte dal loro addestramento e falliscono in modo imprevedibile al di fuori di essa, mentre il giudizio umano può ragionare a partire da principi fondamentali su situazioni che non hanno precedenti in alcun set di dati disponibile.

Il miracolo del 2009 sull'Hudson, in cui il capitano Chesley Sullenberger riuscì ad atterrare con un aereo di linea sul fiume Hudson dopo aver perso entrambi i motori, è l'esempio per eccellenza di come il giudizio umano possa superare l'automazione in una situazione inedita, poiché nessun algoritmo addestrato su normali operazioni di volo avrebbe potuto generare la soluzione che il ragionamento contestuale di Sullenberger ha prodotto sotto pressione.

Il ragionamento etico richiede il giudizio umano non perché le macchine non siano in grado di applicare le regole etiche – possono farlo – ma perché le decisioni etiche richiedono quel tipo di comprensione contestuale, consapevolezza delle parti interessate e autorità legittima che deriva da un essere umano che condivide la comunità morale con coloro che sono influenzati dalla decisione.

I contesti interpersonali – terapia, negoziazione, leadership, insegnamento – richiedono quel tipo di presenza autentica, sintonia emotiva e intelligenza relazionale che l'automazione può simulare ma non può fornire realmente, perché il valore di queste interazioni deriva in parte dal fatto che un altro essere umano è autenticamente coinvolto.

La responsabilità è un ambito in cui il giudizio umano è strutturalmente necessario: quando decisioni importanti si rivelano errate, le parti coinvolte hanno bisogno di un decisore umano che possa essere ritenuto responsabile, che sappia spiegare il proprio ragionamento e che possa imparare dall'errore in modo moralmente significativo, come definisce la responsabilità.

Il costo dell'integrazione

Il problema più importante e al contempo più difficile nella collaborazione uomo-macchina non è quello di costruire algoritmi migliori o di affinare il giudizio umano, bensì quello di progettare l'interfaccia tra i due in modo da ottenere risultati superiori a quelli che ciascuno dei due potrebbe raggiungere da solo.

Le ricerche sull'interazione uomo-automazione dimostrano costantemente che un'integrazione mal progettata produce risultati peggiori rispetto alla sola automazione o al solo giudizio umano: un fenomeno chiamato "bias di automazione" per cui gli esseri umani si affidano eccessivamente ai suggerimenti automatizzati anche quando il loro giudizio sarebbe stato più accurato.

Il bias dell'automazione è stato documentato in ambito aeronautico, medico e militare: situazioni in cui gli operatori umani hanno accettato risultati automatizzati chiaramente errati perché l'autorità cognitiva del sistema ha prevalso sulla percezione della situazione da parte dell'operatore.

Tipo di decisione	Approccio migliore	Ruolo di automazione	Ruolo umano
Riconoscimento di modelli ad alto volume	Automazione primaria	Esegui e segnala	Revisione delle eccezioni
Nuove situazioni ad alto rischio	Primario umano	Fornire informazioni	Decidere ed eseguire
Etico e basato sui valori	Essenziale umano	Solo analisi	Piena autorità
Routine, salvo rare eccezioni.	Integrazione	Gestire le attività di routine	Gestire le eccezioni

Il fenomeno opposto, ovvero l'avversione agli algoritmi, per cui gli esseri umani rifiutano i risultati automatizzati anche quando l'algoritmo dimostra di essere superiore al loro giudizio, è altrettanto documentato, soprattutto in ambiti in cui gli esseri umani investono fortemente nella qualità del proprio giudizio, in relazione alla propria identità professionale.

++ Il futuro della ricerca: come l'intelligenza artificiale sta cambiando il modo in cui troviamo le informazioni

Progettazione organizzativa per la collaborazione uomo-macchina

Le organizzazioni che implementano l'automazione si trovano ad affrontare una specifica sfida progettuale: mantenere la capacità di giudizio umano, che l'automazione dovrebbe integrare, e al contempo utilizzare l'automazione in modo sufficientemente esteso da sfruttarne i vantaggi in termini di efficienza.

Il problema della dequalificazione è il rischio principale: quando l'automazione gestisce la maggior parte di un compito, gli esseri umani perdono la pratica che mantiene l'esperienza necessaria per intervenire efficacemente quando l'automazione fallisce, formando operatori che nominalmente hanno il controllo ma che non possiedono le competenze per esercitarlo quando le circostanze lo richiedono.

Il settore aeronautico ha affrontato il problema della dequalificazione professionale attraverso l'introduzione di requisiti obbligatori per il volo manuale: normative che impongono ai piloti di disattivare il pilota automatico e pilotare manualmente per parte di ogni volo, preservando così le competenze che l'automazione a tempo pieno andrebbe persa, pur sfruttando i vantaggi dell'automazione per le operazioni di routine.

L'implementazione dell'IA in medicina si trova ad affrontare una sfida analoga: i radiologi che si affidano principalmente all'analisi delle immagini tramite IA per identificare i reperti rischiano di perdere la competenza percettiva che consente loro di individuare i casi in cui l'IA sbaglia, ovvero le situazioni specifiche in cui il giudizio umano è più necessario.

IL Organizzazione per la cooperazione e lo sviluppo economico ha pubblicato dei framework per l'implementazione responsabile dell'IA che includono requisiti di supervisione umana, standard di interpretabilità e disposizioni in materia di responsabilità, riconoscendo che la progettazione organizzativa della collaborazione uomo-macchina è importante quanto la qualità tecnica dei sistemi automatizzati implementati.

Le organizzazioni che investono nel mantenimento delle competenze umane parallelamente all'automazione, anziché considerare quest'ultima come un sostituto che rende superflua l'esperienza umana, ottengono risultati costantemente migliori rispetto a quelle che si concentrano esclusivamente sull'efficienza dell'automazione, soprattutto in situazioni nuove, guasti di sistema o casi limite di natura etica.

++ Come l'intelligenza artificiale sta cambiando la creatività umana

La dimensione individuale

L'equilibrio tra automazione e giudizio umano non è solo una questione organizzativa e politica, ma ha anche una dimensione individuale che influenza il modo in cui le persone sviluppano competenze, prendono decisioni e mantengono le capacità cognitive che gli ambienti automatizzati possono erodere.

Delegare le decisioni a sistemi automatizzati – app di navigazione, algoritmi di raccomandazione, strumenti di pianificazione – produce una reale efficienza, ma al contempo erode gradualmente le capacità di giudizio che tali sistemi hanno sostituito. Questo compromesso è invisibile in circostanze normali, ma diventa rilevante quando il sistema non è disponibile o commette errori.

Chi non si orienta mai senza GPS perde la capacità di trovare l'orientamento non a causa di un evento drammatico, ma per la semplice mancanza di pratica necessaria a tale scopo: una versione in scala ridotta del problema della dequalificazione professionale che le organizzazioni affrontano a livello istituzionale.

Mantenere una pratica deliberata in ambiti in cui l'automazione offre alternative convenienti è l'equivalente a livello individuale dei requisiti di pilotaggio manuale nell'aviazione: accettare un'inefficienza a breve termine per preservare la capacità di giudizio a lungo termine in aree in cui tale capacità è fondamentale.

La valutazione critica dei risultati automatizzati – considerando i suggerimenti degli algoritmi come input per il giudizio umano piuttosto che come conclusioni che il giudizio si limita a ratificare – è l'abitudine cognitiva che previene i pregiudizi dell'automazione a livello individuale e che mantiene il coinvolgimento attivo necessario per una buona collaborazione uomo-macchina.

IL Rivista tecnologica del MIT È stato documentato che i lavoratori che comprendono i limiti dei sistemi automatizzati che utilizzano prendono decisioni significativamente migliori rispetto a coloro che considerano gli output automatizzati come autorevoli, confermando che la conoscenza meta-analitica sull'automazione è importante quanto la conoscenza tecnica del settore.

Conclusione

L'equilibrio tra automazione e giudizio umano non è un punto di arrivo fisso, ma un problema di progettazione in continua evoluzione, che richiede una valutazione onesta di quali decisioni specifiche traggano vantaggio dall'automazione, quali necessitino del giudizio umano e quali richiedano un'integrazione deliberata di entrambi.

Le organizzazioni, le istituzioni e gli individui che riescono a gestire questo equilibrio in modo più efficace sono coloro che resistono sia alla pressione economica di automatizzare tutto ciò che è automatizzabile, sia all'istinto professionale di opporsi all'automazione laddove l'identità umana è intrinsecamente legata alla qualità del giudizio umano.

Il quadro pratico è più semplice di quanto suggerisca il dibattito: automatizzare il riconoscimento di modelli ad alto volume, preservare il giudizio umano per situazioni nuove e decisioni etiche, progettare un'integrazione che prevenga i pregiudizi dell'automazione e mantenga la competenza umana, e considerare il mantenimento della capacità di giudizio umano come un investimento continuo piuttosto che un costo ereditato.

Ogni decisione su dove implementare l'automazione e dove preservare il giudizio umano è, in definitiva, una decisione su quale sia il ruolo degli esseri umani: una domanda a cui nessun algoritmo può rispondere e a cui ogni organizzazione e ogni individuo che implementa sistemi automatizzati deve rispondere autonomamente.

Domande frequenti

1. L'automazione sostituisce il giudizio umano o lo integra? La ricerca dimostra costantemente che i risultati migliori si ottengono dall'integrazione piuttosto che dalla sostituzione: il riconoscimento automatico dei modelli combinato con il ragionamento contestuale umano supera entrambi singolarmente nella maggior parte degli ambiti decisionali di rilievo. La tesi della sostituzione è economicamente allettante, ma empiricamente più debole rispetto alla tesi della collaborazione, come dimostrano i casi d'uso documentati.

2. Che cos'è il bias dell'automazione e perché è importante? Il bias dell'automazione è la tendenza a fare eccessivo affidamento sui consigli automatizzati anche quando il giudizio personale sarebbe più accurato, come dimostrato in ambito aeronautico, medico e militare. È un problema rilevante perché produce risultati peggiori rispetto alla sola automazione o al solo giudizio umano, rendendo la progettazione delle interfacce uomo-macchina importante quanto la qualità di ciascun componente.

3. Come fanno le organizzazioni a preservare le competenze umane parallelamente all'automazione? Attraverso requisiti di pratica deliberata analoghi al pilotaggio manuale obbligatorio in aviazione, si garantisce che gli operatori umani esercitino regolarmente le capacità di giudizio che l'automazione gestisce di routine, prevenendo la dequalificazione che rende gli esseri umani nominalmente responsabili di decisioni che non sono più in grado di prendere in autonomia.

4. Quali tipi di decisioni dovrebbero sempre richiedere il giudizio umano? Situazioni nuove senza precedenti nei dati di addestramento, decisioni etiche che richiedono un ragionamento basato sui valori e un'autorità legittima, contesti interpersonali in cui l'autentica presenza umana è parte integrante del valore e qualsiasi decisione in cui la responsabilità richieda un decisore umano in grado di spiegare il proprio ragionamento e di essere ritenuto responsabile dei risultati.

5. Come dovrebbero reagire i singoli individui alla crescente automazione nei loro settori? Mantenendo una pratica deliberata nelle aree in cui l'automazione offre alternative convenienti, valutando criticamente gli output automatizzati anziché considerarli autorevoli, sviluppando una conoscenza approfondita di ciò che i sistemi automatizzati nel loro campo fanno bene e dove falliscono, e preservando le capacità di giudizio che l'automazione integra anziché considerarla un sostituto che rende superflue tali capacità.