Indice dei contenuti
In sintesi
- Le stime percentuali sul rischio catastrofico dell’AI (dal 5% al 50%) non hanno basi metodologiche solide: manca una classe di riferimento di eventi comparabili
- La probabilità rischio AI viene calcolata attraverso survey tra esperti, ma le opinioni divergono radicalmente e non esiste modo di validare le previsioni
- Queste cifre influenzano già il dibattito regolatorio in USA, UK e UE, con conseguenze concrete per le aziende
- Ragionare per scenari resta utile, ma richiede distinguere tra incertezza quantificabile e incertezza radicale
Quando i numeri diventano politica
Washington, novembre 2023. L’Executive Order di Biden sull’intelligenza artificiale cita esplicitamente i “rischi catastrofici”. Pochi mesi dopo, a Bruxelles, l’AI Act europeo introduce la categoria dei sistemi ad “alto rischio”. Nel frattempo, a Pechino, il governo cinese vara le sue linee guida sull’AI generativa.
Tre continenti, tre approcci diversi. Ma un elemento comune: tutti fanno riferimento, direttamente o indirettamente, a stime percentuali sulla probabilità rischio AI che circolano nel dibattito pubblico. Numeri come “10% di probabilità di estinzione umana” o “50% di rischio catastrofico entro il 2100”.
Da dove vengono queste cifre? Chi le ha calcolate? E soprattutto: hanno senso?
Per un manager italiano che deve decidere investimenti, valutare fornitori tecnologici o rispondere a richieste di compliance, la domanda non è accademica. Se queste percentuali guidano le normative, capire quanto siano affidabili diventa una questione operativa.
Le stime rischio catastrofico: da dove vengono i numeri
Nel 2022, un sondaggio condotto da AI Impacts su 738 ricercatori di machine learning ha prodotto un dato che ha fatto il giro del mondo: il 5% degli intervistati riteneva “estremamente probabile” (oltre il 50% di probabilità) che l’AI avanzata potesse causare l’estinzione umana.
Un anno dopo, nel 2023, un altro sondaggio dello stesso gruppo ha mostrato risultati ancora più allarmanti: la mediana delle risposte indicava un 5-10% di probabilità di “esiti catastrofici” legati all’AI.
Questi numeri sono stati ripresi da media, think tank e policy maker. Ma guardiamo cosa c’è dietro.
Il problema della classe di riferimento
Quando un attuario calcola la probabilità che un quarantenne muoia entro l’anno, dispone di milioni di casi storici. Può confrontare, verificare, aggiustare. La probabilità rischio AI catastrofico non ha nulla di tutto questo.
Non esiste una classe di riferimento. Non abbiamo mai assistito all’emergere di un’intelligenza artificiale generale. Non abbiamo precedenti di tecnologie che abbiano causato l’estinzione umana. Stiamo stimando la probabilità di un evento unico, senza casi comparabili.
È come chiedere a un gruppo di esperti: “Qual è la probabilità che domani sorga un secondo sole?” Possono rispondere, certo. Ma su cosa basano la risposta?
Survey di opinioni, non misurazioni
Le stime rischio catastrofico che circolano non sono calcoli. Sono aggregazioni di opinioni. Opinioni di persone competenti, certamente. Ma opinioni.
E le opinioni divergono in modo radicale. Nello stesso sondaggio AI Impacts 2023, le risposte sulla probabilità di esiti catastrofici variavano dallo 0% al 99%. Non è dispersione statistica: è disaccordo fondamentale su cosa sia possibile, probabile, plausibile.
La metodologia previsioni IA: cosa dicono i critici
Il filosofo David Manheim e il ricercatore Scott Alexander hanno analizzato sistematicamente queste stime. Le loro conclusioni sono severe.
Primo problema: l’ancoraggio. Quando chiedi a qualcuno di stimare una probabilità senza dati, la risposta dipende da come formuli la domanda. “Quanto è probabile una catastrofe?” produce risposte diverse da “Quanto è improbabile che tutto vada bene?”
Secondo problema: la selezione del campione. Chi risponde ai sondaggi sul rischio AI? Ricercatori già interessati al tema. Chi lavora su AI safety è più propenso a vedere rischi. Chi lavora su applicazioni commerciali tende a minimizzarli.
Terzo problema: l’impossibilità di validazione. Come verifichiamo se una stima del 10% era corretta? Solo aspettando che l’evento accada o non accada. Ma se accade, non ci sarà nessuno a verificare. Se non accade, non sapremo mai se la probabilità era davvero bassa o se siamo stati fortunati.
Il paradosso della precisione
C’è qualcosa di paradossale nel citare “probabilità del 5-10%” per eventi che non sappiamo nemmeno definire con precisione. Cosa significa esattamente “catastrofe”? Estinzione umana? Collasso sociale? Perdita di controllo su sistemi critici?
La metodologia previsioni IA seria richiederebbe prima di definire l’evento, poi di identificare i meccanismi causali, infine di quantificare. Invece si procede al contrario: si chiede un numero, poi si discute cosa significhi.
I numeri nel dibattito pubblico: conseguenze concrete
Immagina di essere il responsabile innovazione di un’azienda manifatturiera lombarda. Stai valutando l’adozione di un sistema AI per il controllo qualità. Il fornitore americano ti presenta la soluzione. Il tuo ufficio legale ti chiede: “Rientra nei sistemi ad alto rischio secondo l’AI Act?”
La risposta dipende da classificazioni che, a monte, sono state influenzate da quel dibattito sulle stime catastrofiche. Non direttamente, certo. Ma il clima normativo, l’approccio precauzionale, la pressione verso la compliance: tutto questo ha radici in numeri la cui affidabilità è, quantomeno, discutibile.
USA vs Europa vs Cina: tre approcci, stesse incertezze
Gli Stati Uniti hanno scelto la via degli executive order e dell’autoregolamentazione guidata. L’Europa ha optato per la regolamentazione ex ante con l’AI Act. La Cina procede per direttive settoriali.
Ma tutti e tre i blocchi fanno riferimento, nei documenti preparatori, a scenari di rischio che incorporano quelle stime. Il dibattito sul rischio esistenziale dell’AI non è più confinato ai convegni accademici: è entrato nelle sale dove si scrivono le regole.
Per le aziende italiane che esportano, che hanno fornitori globali, che devono certificare prodotti: questa non è filosofia. È compliance.
Ragionare per scenari: cosa resta utile
Significa che dovremmo ignorare completamente il tema? No. Ma serve distinguere tra due tipi di incertezza.
L’incertezza quantificabile è quella che possiamo esprimere in probabilità: il rischio che un server si guasti, che un fornitore ritardi, che un mercato si contragga. Abbiamo dati, precedenti, modelli.
L’incertezza radicale è diversa. Non sappiamo cosa non sappiamo. Non possiamo assegnare probabilità perché non abbiamo la mappa del territorio.
La probabilità rischio AI catastrofico appartiene alla seconda categoria. Trattarla come se fosse la prima è un errore metodologico con conseguenze pratiche.
Cosa può fare un’azienda
Ragionare per scenari resta utile, a patto di non confondere gli scenari con le previsioni. Uno scenario è una storia coerente su come potrebbe evolversi il futuro. Non ha una probabilità allegata. Serve a testare la resilienza delle decisioni, non a calcolare valori attesi.
Un’azienda che adotta AI può chiedersi: “Se questo sistema fallisse in modo catastrofico, quali sarebbero le conseguenze? Abbiamo piani di contingenza?” Questa è gestione del rischio sensata.
Chiedersi invece: “C’è il 10% di probabilità che l’AI distrugga l’umanità, quindi devo allocare il 10% del budget a mitigazione?” è applicare un framework sbagliato a un problema che non lo ammette.
Le posizioni a confronto: chi ha ragione?
Il campo è diviso. Da un lato, figure come Yoshua Bengio e Geoffrey Hinton sostengono che anche stime imprecise su rischi catastrofici giustificano azione precauzionale. Meglio sbagliare per eccesso di cautela.
Dall’altro, critici come Yann LeCun e Andrew Ng ritengono che queste stime siano essenzialmente prive di contenuto informativo. Distolgono risorse da rischi reali e documentabili: bias algoritmici, concentrazione di potere, disoccupazione tecnologica.
La posizione più equilibrata viene forse da chi, come il filosofo Nick Bostrom, ha contribuito a lanciare il dibattito ma riconosce i limiti metodologici. Le stime servono come “ordine di grandezza della preoccupazione”, non come input per calcoli decisionali.
Per approfondire le diverse prospettive sul rischio esistenziale dell’AI, è utile esaminare sia le evidenze disponibili sia le speculazioni che le accompagnano.
Cosa significa per la tua azienda
Le stime percentuali sulla probabilità rischio AI catastrofico non sono affidabili nel senso tecnico del termine. Non hanno basi metodologiche solide, non sono validabili, riflettono opinioni divergenti più che conoscenza consolidata.
Questo non significa che i rischi non esistano. Significa che non possiamo quantificarli con precisione. La differenza è cruciale.
Per un manager, le implicazioni sono tre:
- Sulla compliance: le normative influenzate da questo dibattito esistono e vanno rispettate, indipendentemente da cosa pensiamo delle loro basi teoriche
- Sulla strategia: ragionare per scenari è utile, assegnare probabilità precise a eventi senza precedenti non lo è
- Sulla comunicazione: quando un fornitore, un consulente o un regolatore cita percentuali sul rischio catastrofico, sapere da dove vengono aiuta a valutarne il peso
Il dibattito continuerà. I numeri continueranno a circolare. La capacità di leggerli criticamente è, oggi, una competenza manageriale.
FAQ
Le stime sulla probabilità rischio AI sono basate su dati scientifici?
No, nel senso tradizionale. Sono aggregazioni di opinioni di esperti raccolte tramite survey. Non esistono dati storici su eventi comparabili che permettano calcoli probabilistici standard.
Perché le stime rischio catastrofico variano così tanto tra gli esperti?
Perché non esiste consenso su cosa sia possibile, su quali meccanismi potrebbero portare a esiti catastrofici, né su come definire “catastrofe”. Le risposte riflettono assunzioni diverse, non misurazioni diverse dello stesso fenomeno.
Queste stime influenzano davvero le normative?
Sì. Il dibattito sul rischio esistenziale ha influenzato il clima in cui sono stati redatti l’AI Act europeo, l’Executive Order americano e le linee guida cinesi. Non come input diretto, ma come cornice concettuale.
La metodologia previsioni IA può migliorare in futuro?
Potenzialmente, man mano che l’AI avanza e possiamo osservare comportamenti di sistemi sempre più capaci. Ma per eventi davvero catastrofici, il problema della classe di riferimento resta: non avremo mai abbastanza casi per statistiche affidabili.
Come dovrebbe un’azienda trattare questi numeri nelle proprie valutazioni?
Come indicatori qualitativi del livello di preoccupazione nella comunità scientifica, non come probabilità da inserire in calcoli di rischio. Utili per la pianificazione per scenari, non per analisi costi-benefici precise.
Esistono alternative alle stime percentuali per ragionare sul rischio AI?
Sì. L’analisi per scenari, i red team exercises, le valutazioni qualitative di vulnerabilità. Questi approcci non pretendono di quantificare l’inquantificabile.
Le aziende italiane devono preoccuparsi del rischio catastrofico AI?
Devono preoccuparsi della compliance normativa che ne deriva e dei rischi operativi concreti dei sistemi che adottano. Il rischio catastrofico globale è un tema di policy, non di gestione aziendale quotidiana.
Come distinguere tra esperti credibili e allarmisti sul tema?
Gli esperti credibili riconoscono i limiti metodologici delle stime, distinguono tra incertezza quantificabile e radicale, e non usano numeri precisi per fenomeni che non li ammettono. Chi cita “10% di probabilità” come fosse un dato assodato merita scetticismo.