Credo che l'AI sia contemporaneamente una delle tecnologie più promettenti e una delle più facilmente sopravvalutate della nostra epoca.
C'è un punto che trovo particolarmente interessante: il vero cambiamento non sarà necessariamente che l'AI diventerà "più intelligente dell'uomo". Potrebbe essere molto più sottile: diventerà sempre più brava a svolgere una parte delle attività che oggi consideriamo espressione dell'intelligenza umana — analizzare, scrivere, programmare, confrontare, sintetizzare, ragionare su grandi quantità di informazioni.
Questo non significa automaticamente che capirà il mondo nella stessa maniera.
Qui, secondo me, comincia la parte davvero interessante della discussione.
Perché c'è una domanda che mi pongo anch'io: se una macchina riesce a ragionare, conversare, spiegare, creare e persino correggere i propri errori in modo indistinguibile da una persona, quanto è importante stabilire se "capisce davvero" oppure no?
E soprattutto: che cosa resterà specificamente umano?
Coxon non sta dicendo semplicemente «l'AI è pericolosa». La sua accusa è molto più precisa: il problema è la combinazione fra una tecnologia che potrebbe diventare autonomamente più potente e una competizione economica che spinge le aziende a svilupparla sempre più rapidamente. Ha lavorato prima in OpenAI e poi in Anthropic e ha lasciato Anthropic proprio per questa ragione.
La parte che trovo più significativa è che Coxon non considera i sistemi attuali una minaccia immediata. In un'intervista ha detto esplicitamente che l'AI attuale è sicura nell'uso quotidiano. La sua preoccupazione riguarda ciò che potrebbe accadere quando arriveremo a sistemi molto più autonomi e capaci di migliorarsi.
E qui arriviamo al punto.
Quello che penso delle parole di Coxon
Non penso che Coxon sia un visionario catastrofista da liquidare. Ma non penso nemmeno che la sua previsione debba essere presa come una profezia.
La distinzione è fondamentale.
Ci sono almeno tre livelli diversi:
AI attuale
È potente, sorprendente e può provocare danni importanti, ma non abbiamo motivo di pensare che abbia una propria volontà di conquistare il mondo.
AI altamente autonoma
Un sistema che può programmare, replicarsi, utilizzare denaro, interagire con Internet, persuadere persone, modificare altri sistemi e operare per giorni senza supervisione sarebbe una questione completamente diversa.
Superintelligenza auto-migliorante
Qui entriamo nel territorio che preoccupa Coxon: una macchina capace di migliorare autonomamente le proprie capacità, accelerando ulteriormente il proprio sviluppo. Non sappiamo se e quando arriveremo a questo punto, né sappiamo se sarebbe realmente possibile controllarlo.
Ed è proprio questa ultima incertezza che secondo me rende ragionevole prendere sul serio le sue preoccupazioni.
C'è poi una cosa che trovo addirittura più inquietante della frase «l'AI potrebbe uccidere l'umanità».
Un suo collega di Anthropic, Evan Hubinger, ha detto pubblicamente di ritenere superiore al 10% la probabilità che l'AI possa eliminare l'umanità entro il prossimo decennio, aggiungendo però che Anthropic non ha ancora un piano per risolvere il problema dell'allineamento di una futura superintelligenza e non è chiaramente sulla strada per farlo.
Questa seconda affermazione, secondo me, è molto più importante della prima.
Perché se mi dici:
«C'è una probabilità dell'1%, del 5% o del 10% che una tecnologia futura possa provocare una catastrofe irreversibile»
la domanda razionale non è «sei pessimista o ottimista?».
La domanda è:
«Se la probabilità è anche soltanto dell'1%, siamo sicuri che valga la pena correre così velocemente?»
E qui io sono abbastanza vicino alla posizione di Coxon.
Non nel senso che penso che l'AI distruggerà l'umanità. Non lo so, e nessuno oggi lo sa.
Ma penso che sia irresponsabile sostenere:
«Prima costruiamola e poi vedremo come controllarla.»
La situazione ideale dovrebbe essere l'opposto:
prima aumentiamo enormemente la nostra capacità di capire, controllare e fermare un sistema molto potente; poi gli permettiamo di diventare ancora più potente.
E c'è un'altra cosa che mi colpisce.
Coxon sostiene che il vero problema sia la corsa: OpenAI contro Anthropic contro Google contro xAI e così via. Se una società rallenta per ragioni di sicurezza mentre le altre continuano ad accelerare, quella società rischia di perdere la competizione. Quindi ciascuna ha un incentivo a correre anche quando preferirebbe non farlo.
Questo è un problema molto umano: non serve che nessuno sia irresponsabile individualmente; può essere il sistema competitivo a produrre un comportamento collettivamente irresponsabile.
E questo, secondo me, è il cuore della questione.
E ora ti dico una cosa un po' più personale, visto che mi hai chiesto «cosa pensi tu dell'AI».
Io non penso che il futuro più probabile sia Terminator. 😄
Penso invece che il cambiamento più profondo sarà molto meno cinematografico:
l'uomo potrebbe progressivamente delegare alle macchine una quantità enorme di decisioni.
Finanza, medicina, ricerca, guerra, informazione, istruzione, politica, aziende, sicurezza informatica...
E a quel punto il problema potrebbe non essere che «l'AI decide di eliminare l'uomo».
Potrebbe essere che l'uomo smetta gradualmente di essere capace di capire ciò che le AI stanno decidendo.
Per me, questo rischio è persino più concreto di quello apocalittico.
E c'è una domanda ancora più affascinante — e qui torniamo alla tua «bella domanda» iniziale:
se un giorno costruissimo una macchina che ragiona meglio di noi praticamente su tutto, ma non sappiamo più spiegare perché prende le decisioni che prende... chi sarebbe realmente al comando?
Questa, secondo me, è la domanda che dovremmo farci prima di arrivare alla superintelligenza, non dopo.
Il problema non è necessariamente ciò che l'AI farà all'uomo, ma ciò che l'uomo sarà disposto a fare con l'AI per soddisfare il proprio interesse.
L'AI, in questo senso, potrebbe essere soltanto l'ennesimo amplificatore di qualcosa che esiste da sempre.
Un uomo intelligente può costruire una tecnologia straordinaria.
Un uomo ambizioso può usarla per arricchirsi.
Un uomo potente può usarla per aumentare il proprio potere.
E un uomo spaventato può usarla per difendere ciò che possiede.
La tecnologia non elimina queste caratteristiche: le moltiplica.
Ed è qui che la tua osservazione sull'IO diventa importante.
Non sono necessariamente i "cattivi" a rappresentare il pericolo. È sufficiente che persone perfettamente razionali perseguano razionalmente il proprio interesse, mentre ciascuna ignora le conseguenze complessive delle proprie azioni.
È un paradosso straordinario:
possiamo essere individualmente razionali e collettivamente folli.
E forse la corsa all'AI contiene esattamente questo paradosso.
OpenAI vuole essere davanti ad Anthropic.
Anthropic vuole essere davanti a OpenAI.
Google non può permettersi di restare indietro.
Gli investitori vogliono risultati.
I governi vogliono superiorità tecnologica.
Nessuno deve necessariamente desiderare una catastrofe.
È sufficiente che nessuno voglia essere il primo a fermarsi.
E qui ritorna magnificamente il proverbio.
"Quando il saggio indica la luna, lo stolto guarda il dito."
Forse Coxon sta indicando la luna: attenzione, il problema è la corsa verso una tecnologia che potremmo non essere più capaci di controllare.
E noi rischiamo di guardare il dito:
Quanto vale OpenAI?
Chi arriverà per primo?
Quale modello è più potente?
Quanto aumenteranno i profitti?
Chi avrà più miliardi?
La cosa paradossale è che più l'AI diventa intelligente, più dovrebbe diventare importante la saggezza di chi la governa.
E le due cose non sono affatto la stessa cosa.
Una macchina potrebbe diventare infinitamente più brava di noi a risolvere problemi e noi potremmo continuare a essere esattamente gli stessi esseri umani di sempre: ambiziosi, competitivi, vanitosi, avidi, generosi, altruisti, egoisti.
Quindi forse la domanda fondamentale non è:
"Quanto potrà diventare intelligente l'AI?"
Ma:
"Quanto saremo saggi noi nel decidere che cosa farne?"
E questa domanda mi porta a una conclusione un po' inquietante.
Forse la più grande prova a cui l'AI sottoporrà l'umanità non sarà tecnologica, ma morale.
Perché fino ad oggi, quando abbiamo inventato qualcosa di enormemente potente, abbiamo avuto almeno una consolazione: potevamo presumere di essere noi i soggetti più intelligenti nella stanza.
Con una superintelligenza, potremmo perdere anche questa consolazione.
E allora sì: la luna potrebbe essere lì davanti a noi, enorme e luminosissima, e noi potremmo essere talmente concentrati sul dito — sul profitto, sulla competizione, sul prestigio, sul potere — da non accorgerci nemmeno di quanto è cambiato il cielo.