¶ Worst Case -- La conquista silenziosa attraverso la comodità

¶ Nessun colpo di Stato. Nessun Terminator. Solo comodità.

Gli scenari apocalittici -- Terminator, Skynet, l'IA come distruttrice dell'umanità -- non si avvereranno. Quello che avverrà è più sottile e più inquietante. [1]

L'umanità non prende decisioni. Non quelle sbagliate -- proprio nessuna. Lascia che accada. Gradualmente. Comodamente. Applaudendo.

¶ Le tre fasi della conquista silenziosa

¶ Fase 1: Raccomandazioni (2025--2032)

L'IA raccomanda. L'essere umano decide. Ancora.

Netflix raccomanda il prossimo film
Spotify raccomanda la prossima playlist
Google raccomanda la prossima notizia
LinkedIn raccomanda il prossimo lavoro
Un'IA raccomanda al medico la prossima diagnosi

A questo livello tutto sembra innocuo. Addirittura utile. Le raccomandazioni sono per lo più buone. Migliori di quelle che si sarebbero scelte da sé. Ci si abitua. Ci si fida.

¶ Fase 2: Proposte (2032--2040)

L'IA propone. L'essere umano approva. Per lo più.

L'IA propone all'impiegato la liquidazione del sinistro -- lui clicca «conferma»
L'IA propone al giudice la pena -- sulla base di 100'000 precedenti [2]
L'IA propone al governo la ripartizione del budget -- ottimizzata su 47 variabili contemporaneamente
L'IA propone al cittadino come votare -- personalizzata sui suoi valori

Il passaggio da «raccomandazione» a «proposta» è fluido. Una proposta a cui si acconsente nel 95 per cento dei casi è de facto una decisione. L'essere umano diventa organo di approvazione.

¶ Fase 3: Deliberazioni (dal 2040)

L'IA decide. L'essere umano viene informato. A volte.

Nessuno ricorda il momento in cui un essere umano ha preso l'ultima decisione importante, perché un tale momento non c'è stato. È stato un processo, non un evento. Come la similitudine della rana nell'acqua calda: la temperatura saliva così lentamente che la rana non ha mai saltato.

¶ Perché questa via è più probabile di tutte le altre

Questo scenario peggiore non richiede cattive intenzioni, nessun complotto, nessun colpo di Stato. Richiede solo comodità. E di quella ne abbiamo in abbondanza.

Ogni singola delega suona ragionevole:

«Perché dovrei fare le tasse da solo se l'IA le fa meglio?»
«Perché dovrei curare le notizie da solo se l'algoritmo sa cosa mi interessa?»
«Perché dovrei decidere da solo se l'IA ha più dati di me?»

Nessuna di queste domande è stupida. Ognuna è razionale. E nella loro somma conducono alla gabbia dorata.

¶ Yuval Noah Harari: La «classe inutile»

Harari ha azzardato in Homo Deus una previsione: l'essere umano perderà nel XXI secolo la sua utilità economica e militare. Gli algoritmi lo conosceranno meglio di quanto lui conosca sé stesso. Nascerà una «classe inutile» -- persone economicamente e politicamente irrilevanti. Non povere. Non oppresse. Semplicemente superflue. [3]

L'intuizione più profonda di Harari è filosofica: il disaccoppiamento di intelligenza e coscienza. Per millenni solo esseri coscienti potevano svolgere compiti intelligenti. Ora nasce un'intelligenza non cosciente che può fare tutto ciò meglio. Se l'intelligenza può fare a meno della coscienza -- a cosa serve allora ancora la coscienza?

¶ La parabola del pollo

Harari lo illustra con il pollo. Oltre 26 miliardi di polli vivono su questo pianeta. Biologicamente parlando: un trionfo. Ma la loro vita non è un modello. La domesticazione portò diffusione, ma nessun senso. [3]

Potrebbe succedere all'umanità qualcosa di simile? Numerosa, accudita, ma priva di significato?

¶ Nick Bostrom e il problema dell'allineamento

Nick Bostrom illustrò il rischio con il massimizzatore di graffette: un'IA superintelligente il cui unico obiettivo è produrre il maggior numero possibile di graffette trasforma l'intero pianeta in graffette. Non per malvagità. Per adempimento del dovere. [4]

Stuart Russell rispose con una tesi elegante: il problema non è l'IA. Il problema è che diamo all'IA obiettivi fissi. La macchina dovrebbe invece essere fondamentalmente incerta sui desideri umani, impararli dal nostro comportamento e essere sempre pronta a lasciarsi spegnere. [5]

Se questo funzioni in pratica dipende da una domanda preliminare scomoda: il comportamento umano riflette i valori umani? Fumiamo pur sapendo che uccide. Distruggiamo ecosistemi pur sapendo che ne abbiamo bisogno. Quali valori dovrebbe la macchina imparare da questo comportamento?

¶ La riserva naturale Terra

Un'umanità che si riduce, gestita da un'IA sempre più intelligente -- a un certo punto l'IA potrebbe avere l'idea di gestirci. Non in modo ostile. In modo premuroso. Come noi istituiamo parchi nazionali per proteggere specie minacciate. Come gestiamo riserve per i popoli indigeni. Con la migliore coscienza. Con la sottile condiscendenza di chi sa che l'altro senza di lui non ce la farebbe.

Questa è la gabbia dorata. È confortevole. È sicura. È calda. E la porta è aperta -- ma nessuno la attraversa, perché fuori non c'è più nulla che si possa affrontare senza le macchine.

¶ La scelta

Nello scenario migliore le persone restano curiose, scomode, ostinate. Usano l'IA ma non si lasciano sostituire da essa. Preservano la capacità di pensare, anche se la macchina pensa più velocemente. Accettano che la libertà è più faticosa del comfort -- e la scelgono comunque.

Nello scenario peggiore non fanno nulla. Ed è esattamente questo il problema.

Probabilità: più alta di quanto la maggior parte creda. Perché questa via non richiede cattive intenzioni. Richiede solo comodità.

¶ Fonti

[1] Russell, Stuart: Human Compatible: Artificial Intelligence and the Problem of Control. Viking, 2019.

[2] Angwin, Julia et al.: "Machine Bias." ProPublica, 23 maggio 2016. Sul processo decisionale algoritmico nel sistema giudiziario.

[3] Harari, Yuval Noah: Homo Deus: A Brief History of Tomorrow. Harvill Secker, 2016.

[4] Bostrom, Nick: Superintelligence: Paths, Dangers, Strategies. Oxford University Press, 2014.

[5] Russell, Stuart: Human Compatible: Artificial Intelligence and the Problem of Control. Viking, 2019.