Come funziona l'IA
Strumenti del corso

Indice degli argomenti

Le parole del corso in ordine alfabetico, con i punti in cui sono spiegate.

Spiegato in: i passi dei moduli, le sezioni di approfondimento dei moduli e le altre pagine del corso (tra «virgolette») in cui l'argomento è trattato davvero. Conviene partire da qui.

Citato anche in: i punti in cui la parola compare di passaggio, utile per vederla usata in altri contesti.

Riassunto grafico: le pagine del PDF «Il percorso della frase» in cui la parola compare.

I colori: il pallino accanto a ogni rimando dice che tipo di pagina è. Percorso base Per capire Esempi Approfondimento

L'indice copre le parti del corso già pubblicate: moduli 1–2, 10–17, le altre pagine del corso e il riassunto grafico. Si aggiornerà con i nuovi moduli.

Versione web, con i collegamenti: https://www.cultor.net/corso-ia/indice/

A

adattatore

Il file prodotto da una rifinitura con LoRA: contiene solo le tabelle piccole addestrate e si aggiunge al modello di base quando serve.

addestramento

La fase in cui il modello impara: legge enormi quantità di testo, a gruppi di esempi, e usa l'errore di previsione misurato su ciascun gruppo per aggiornare poco alla volta i suoi parametri.

Riassunto grafico

pagine 1, 2, 3, 4, 5, 6, 7, 9, 10

algoritmo

Procedimento descritto passo per passo, in modo così preciso che un computer lo può eseguire.

allucinazione

Produzione di un'informazione falsa, inventata o non adeguatamente sostenuta dalle fonti, presentata come se fosse corretta.

Citato anche in

Modulo 13: passo 11; approfondimento «Perché un modello sbaglia con sicurezza» · Modulo 15: passo 1

analogia tra vettori

Metodo per completare «a sta a b come c sta a ?»: si calcola b − a + c e si cerca la parola il cui vettore è più vicino al risultato.

Citato anche in

Modulo 1: passo 10 · Modulo 10: approfondimento «Il filo dei pregiudizi (bias) · 1. Nei vettori» · Modulo 14: passo 3 · Modulo 17: passo 6

apprendimento automatico (machine learning)

La parte dell'intelligenza artificiale in cui la macchina ricava le regole dai dati, invece di riceverle scritte da una persona: spesso da molti esempi già classificati, ma non sempre.

Citato anche in

Modulo 1: passo 11 · Modulo 10: passo 5

apprendimento nel contesto

La capacità di un modello di seguire esempi o istruzioni messi nella richiesta, senza cambiare i parametri.

Citato anche in

Modulo 16: passo 3

apprendimento profondo (deep learning)

La parte dell'apprendimento automatico che usa reti neurali con molti strati.

Citato anche in

Modulo 2: passo 12

attenzione

Meccanismo attraverso il quale un elemento della sequenza confronta la propria rappresentazione numerica con quelle di altri elementi e combina le informazioni ricevute, attribuendo loro pesi diversi.

Citato anche in

Modulo 2: passo 13 · Modulo 10: passi 5, 10 · Modulo 11: passi 1, 4, 6, 8, 9, 10; approfondimento «Perché si divide per la radice di 72» · Modulo 12: passi 3, 4, 5, 11; approfondimento «Il filo dei pregiudizi · 2. Nella previsione» · Modulo 13: passo 14 · Modulo 14: passi 1, 4, 6 · Modulo 15: passi 5, 7 · Modulo 16: passo 7; approfondimento «LoRA nei dettagli»; approfondimento «Stile, testi e diritti» · Modulo 17: passo 7 · «Passo passo dentro Minerva»

Riassunto grafico

pagine 2, 6, 7, 9, 10, 14, 15

B

BM25

Una formula usata dai motori di ricerca per dare un punteggio ai documenti: conta le parole della domanda presenti nel documento, dando più peso a quelle rare.

BPE (Byte Pair Encoding)

Metodo per costruire il vocabolario dei token: si parte dai singoli byte e si fondono, una alla volta, le coppie che compaiono più spesso nei testi.

byte

Unità di base della memoria di un computer: un gruppo di 8 bit adiacenti, cioè 8 cifre binarie (0 o 1), che può assumere 256 valori diversi, da 0 a 255.

C

campionamento

Nella generazione del testo, scelta casuale di un token in proporzione alla sua probabilità: un token al 30% esce in media 3 volte su 10; è un'alternativa alla scelta del più probabile.

Citato anche in

Modulo 12: passo 10 · Modulo 14: passo 9

campionamento a nucleo

Ordina i token per probabilità e tiene il più piccolo gruppo iniziale che raggiunge almeno una certa soglia p, per esempio il 90%.

Citato anche in

Modulo 12: passo 8; approfondimento «Quattro modi di scegliere»

catena di Markov

Un modello che prevede il pezzo successivo guardando solo gli ultimi pezzi (uno nel bigramma, due nel trigramma).

Citato anche in

Modulo 2: passo 7

chatbot

Un programma con cui si conversa scrivendo, o parlando.

Citato anche in

Modulo 1: passo 12

componente

Uno dei numeri che formano un vettore.

Citato anche in

Modulo 10: passi 5, 7 · Modulo 12: approfondimento «Come si fa un esperimento su un modello» · Modulo 14: passo 10 · Modulo 15: approfondimento «Citare le fonti nella risposta» · Modulo 17: passo 4

Riassunto grafico

pagine 9, 10

connessione residua

Collegamento che mantiene un percorso diretto per il vettore precedente e gli somma il risultato dell'elaborazione, invece di sostituirlo.

Citato anche in

Modulo 11: passi 6, 12 · «Una frase dentro Minerva»

Riassunto grafico

pagine 2, 15

coseno

Funzione della trigonometria: il coseno di un angolo vale 1 per direzioni uguali, 0 per direzioni perpendicolari e −1 per direzioni opposte.

Riassunto grafico

pagina 5

D

dimenticanza catastrofica

Il peggioramento di un modello su ciò che sapeva fare prima, dopo una rifinitura su dati nuovi: i parametri sono condivisi e spostarli verso un compito danneggia gli altri (Kirkpatrick et al., 2017).

discesa del gradiente

Il metodo con cui un modello corregge i propri parametri durante l'addestramento: li sposta di poco nella direzione che riduce l'errore.

Citato anche in

Modulo 10: passo 7 · Modulo 12: passo 12 · Modulo 16: approfondimento «Perché imparare fa dimenticare» · «Le probabilità dietro i modelli linguistici»

E

effetto ELIZA

La tendenza ad attribuire comprensione, intenzioni o sentimenti a un programma che produce frasi adatte alla conversazione.

Citato anche in

Modulo 2: passo 6

effetto IA

La tendenza a non considerare più intelligenza artificiale ciò che le macchine hanno imparato a fare: scacchi, navigatori, correttori ortografici.

Citato anche in

Modulo 1: approfondimento «Due versioni della stessa frase» · Modulo 2: passo 11

ELIZA

Il programma di conversazione scritto da Joseph Weizenbaum negli anni Sessanta, che simulava uno psicoterapeuta ripetendo e riformulando le frasi dell'utente.

Citato anche in

Modulo 1: passo 4

entropia

Misura, in bit, di quanto è incerta una scelta prima di farla: descrive l'intera distribuzione delle probabilità.

entropia incrociata

La misura dell'errore usata per addestrare i modelli linguistici: la sorpresa media del modello davanti ai token veri di un testo.

F

finestra di contesto

La quantità massima di testo, misurata in token, che un modello può considerare tutta insieme.

Citato anche in

Modulo 13: passo 6 · Modulo 16: passi 2, 5 · Modulo 17: passo 4

FLOP

Un'operazione aritmetica su numeri con la virgola, come una somma o una moltiplicazione.

Citato anche in

Modulo 12: passo 13

fonte di prima mano

Una testimonianza o un documento direttamente collegato al fatto: il diario di un testimone, un verbale dell'epoca, una fotografia originale, una delibera che registra una decisione.

Citato anche in

Modulo 1: approfondimento «Due versioni della stessa frase» · Modulo 15: passo 7

G

GPT-2

Modello linguistico pubblicato da OpenAI nel 2019.

Riassunto grafico

pagine 4, 10, 11, 12

I

IA generale (AGI)

Un sistema, per ora ipotetico, capace di affrontare con successo quasi ogni compito intellettuale che sa svolgere un essere umano, compresi quelli mai incontrati.

IA generativa

I sistemi di intelligenza artificiale che producono contenuti nuovi, come testi, immagini, suoni o video, a partire da una richiesta.

IA ristretta

Un sistema di intelligenza artificiale che sa svolgere bene un compito o un gruppo di compiti simili, come giocare a scacchi o riconoscere la voce, ma non altri.

IA simbolica

Il modo di costruire l'intelligenza artificiale in cui le regole per svolgere un compito sono scritte da persone, come istruzioni esplicite su simboli: parole, oggetti, relazioni («se… allora…»).

Citato anche in

Modulo 1: passo 6

IA statistica

Il modo di costruire l'intelligenza artificiale in cui la macchina apprende regolarità dai dati, invece di ricevere regole scritte da una persona.

Citato anche in

Modulo 1: passo 6

iniezione di istruzioni

Il tentativo di far passare un ordine nascosto dentro un testo letto dall'assistente, come una pagina web o un documento, per un'istruzione da eseguire.

Citato anche in

Modulo 13: passo 5; approfondimento «Testi che contengono istruzioni» · Modulo 15: passo 12

inverno dell'IA

Un periodo di delusione per l'intelligenza artificiale, con meno finanziamenti e meno interesse dopo promesse non mantenute.

Citato anche in

Modulo 2: passi 8, 9

istruzioni di sistema

Le indicazioni, scritte da chi offre un servizio di IA, che descrivono come l'assistente deve comportarsi in ogni conversazione.

K

key

Vettore con cui un token «si presenta» agli altri: viene confrontato con le query.

Citato anche in

Modulo 11: passi 4, 9, 10, 11 · Modulo 12: passo 9 · Modulo 13: passo 19 · Modulo 14: passo 4 · «Una frase dentro Minerva» · «Le operazioni passo per passo»

Riassunto grafico

pagine 6, 7, 14

L

leggi di scala

Relazioni osservate tra la grandezza di un modello, la quantità di dati, il calcolo usato e l'errore finale: crescendo in modo equilibrato, l'errore scende in modo prevedibile (Kaplan et al., 2020; Hoffmann et al., 2022).

Citato anche in

Modulo 12: passo 13 · Modulo 17: passo 4

lente sui logit

Tecnica di analisi: al vettore di un token a metà del modello si applicano la normalizzazione finale e la matrice di uscita, come se fosse l'ultimo strato.

Citato anche in

Modulo 12: passo 3 · «Una frase dentro Minerva»

logit

Il punteggio grezzo che il modello assegna a ogni token del vocabolario prima della softmax.

Riassunto grafico

pagine 2, 12

LoRA

Low-Rank Adaptation: modo leggero di fare una rifinitura.

Citato anche in

Modulo 16: passi 6, 11; approfondimento «Perché imparare fa dimenticare»

M

maschera causale

Regola che impedisce a ogni token di guardare i token che vengono dopo: il modello legge da sinistra a destra e non può sbirciare il futuro.

Citato anche in

Modulo 11: passi 2, 9 · «In parole semplici»

Riassunto grafico

pagine 2, 7, 15

matrice

Tabella rettangolare di numeri.

Citato anche in

Modulo 11: passo 3

Riassunto grafico

pagine 3, 6, 7, 8, 10, 11, 12, 14

matrice di uscita

La tabella di parametri che trasforma il vettore finale in punteggi: ha una riga per ogni token del vocabolario, e il punteggio di un token è il prodotto scalare tra il vettore finale e la sua riga.

memoria esterna

Informazioni conservate da un programma fuori dai parametri del modello e recuperate quando servono: appunti, riassunti, documenti archiviati.

Citato anche in

Modulo 16: passi 2, 13

Minerva

Famiglia di modelli linguistici addestrati da zero su testi italiani e inglesi dall'Università La Sapienza di Roma (2024).

Spiegato in
Riassunto grafico

pagine 1, 2, 3, 4, 12, 14, 15

Mistral NeMo

Modello linguistico aperto da 12 miliardi di parametri, pubblicato da Mistral AI con NVIDIA nel luglio 2024.

modello di base

Un modello appena uscito dal pre-addestramento: è addestrato soprattutto a continuare testi e non è ottimizzato per seguire istruzioni in modo affidabile, anche se a volte risponde correttamente.

Citato anche in

Modulo 2: passo 14 · Modulo 13: passi 2, 5, 13, 21 · Modulo 15: passi 1, 12 · Modulo 16: passi 7, 12 · Modulo 17: passi 3, 4 · «Passo passo dentro Minerva»

multimodale

Detto di un modello o di un assistente che lavora con più tipi di materiale insieme: testo, immagini, suono, video.

Citato anche in

Modulo 14: passo 13

N

neurone artificiale

Un piccolo elemento di calcolo ispirato, molto alla lontana, al neurone del cervello: riceve dei numeri, li moltiplica per i suoi pesi, li somma e decide che cosa trasmettere.

Citato anche in

Modulo 2: passi 2, 5

normalizzazione

Operazione che regola la scala delle componenti di un vettore prima del calcolo successivo.

Citato anche in

Modulo 11: passi 3, 12 · Modulo 12: passi 1, 3 · «Le probabilità dietro i modelli linguistici»

Riassunto grafico

pagine 2, 11, 13, 15

P

paradosso di Moravec

L'osservazione del ricercatore di robotica Hans Moravec (anni Ottanta): per un computer è relativamente facile ciò che per noi è difficile, come il calcolo o gli scacchi, e difficilissimo ciò che per noi è banale, come riconoscere oggetti o muoversi in una stanza.

parole vuote

Parole molto frequenti e povere di significato proprio, come articoli, preposizioni e congiunzioni, che la ricerca per parole di solito ignora.

Citato anche in

Modulo 15: passo 4

perceptron

Il primo neurone artificiale capace di imparare, presentato da Frank Rosenblatt nel 1958: quando sbaglia una risposta corregge un poco i propri pesi.

Citato anche in

Modulo 2: passo 2

perdita

La misura dell'errore durante l'addestramento: per un token è −ln p, la sorpresa davanti al token vero misurata in nat.

perplessità

Misura di quanto un testo sorprende un modello: è come se, a ogni token, il modello esitasse tra quel numero di alternative equiprobabili.

Citato anche in

Modulo 12: passi 5, 12

peso di attenzione

La quota dell'attenzione che un token dedica a un altro.

pre-addestramento

La prima e più lunga fase dell'addestramento: il modello legge enormi quantità di testo e impara a prevederne ogni token successivo.

Citato anche in

Modulo 12: passo 13; approfondimento «Da modello di base ad assistente» · Modulo 13: passo 7 · Modulo 16: passo 6

probabilità condizionata

La probabilità di un evento sapendo che ne è avvenuto un altro: P(A | B).

prodotto scalare

Si moltiplicano le componenti di due vettori nella stessa posizione e si sommano i risultati.

Riassunto grafico

pagine 2, 5, 7, 13

proiezione

Trasformazione matematica che permette di passare da una rappresentazione numerica a un'altra.

Citato anche in

Modulo 10: passo 10 · Modulo 11: passi 3, 6 · Modulo 12: approfondimento «Come si fa un esperimento su un modello» · Modulo 14: passo 13

prompt

Il testo che si scrive all'assistente per chiedergli qualcosa: domanda, istruzioni, esempi.

Citato anche in

Modulo 13: passo 5

pubblico dominio

Condizione di un'opera i cui diritti economici d'autore sono scaduti: in Italia, dal 1° gennaio del settantunesimo anno dopo la morte dell'autore.

Citato anche in

Modulo 13: passo 24 · Modulo 16: approfondimento «Stile, testi e diritti»

Q

query

Vettore che rappresenta ciò che un token «cerca» negli altri.

Citato anche in

Modulo 11: passi 4, 9, 10, 11; approfondimento «Il parcheggio e le etichette condivise» · Modulo 13: passo 19 · Modulo 14: passo 4 · Modulo 15: passo 5 · «Le operazioni passo per passo»

Riassunto grafico

pagine 6, 7, 14

R

RAG

Retrieval-Augmented Generation, generazione aumentata dal recupero: un programma cerca dei documenti e li scrive prima della domanda, così il modello risponde leggendoli.

Citato anche in

Modulo 15: passo 2

rete in avanti

La seconda metà di ogni strato: una piccola rete che rielabora ogni token da solo, senza guardare gli altri.

Citato anche in

Modulo 14: passo 5 · Modulo 16: passo 7 · «In parole semplici»

Riassunto grafico

pagine 2, 15

rete neurale

Un modello fatto di molte unità di calcolo semplici, i neuroni artificiali, collegate fra loro e organizzate in strati.

Citato anche in

Modulo 2: passi 2, 5, 8, 10, 12, 13; approfondimento «Perché proprio le schede grafiche» · Modulo 13: passi 8, 9, 14 · Modulo 14: passo 10 · «Come nascono gli embedding»

Riassunto grafico

pagina 1

retropropagazione

Il metodo per correggere i pesi di una rete neurale con molti strati: si misura l'errore all'uscita e si distribuisce la correzione all'indietro, strato dopo strato.

ricerca a fascio

Metodo di generazione che tiene aperto un numero limitato di continuazioni in parallelo e sceglie, fra quelle esplorate, quella con il punteggio migliore, a volte corretto per la lunghezza.

rifinitura

Addestramento supplementare, su dati scelti per uno scopo e di quantità variabile, di un modello già pre-addestrato.

Citato anche in

Modulo 12: passo 14; approfondimento «Da modello di base ad assistente» · Modulo 13: passo 7 · Modulo 16: passi 8, 9, 11, 12, 13 · Modulo 17: passi 4, 5, 10, 12 · «Come nascono gli embedding»

RLHF

Apprendimento per rinforzo dal giudizio umano (Reinforcement Learning from Human Feedback): persone confrontano coppie di risposte; le loro preferenze addestrano un modello di ricompensa, che dà un voto alle risposte, e il modello linguistico viene poi ottimizzato per ottenere voti migliori (Ouyang et al., 2022).

Citato anche in

Modulo 12: passo 14; approfondimento «Da modello di base ad assistente» · Modulo 13: passo 7 · Modulo 16: passo 12

RoPE (rotazione di posizione)

Il modo in cui Minerva e Mistral segnano la posizione dei token: ruotano query e key di angoli che crescono con la posizione.

Citato anche in

Modulo 11: passo 9 · Modulo 13: passo 19 · «Le operazioni passo per passo»

S

scelta golosa

Il modo più semplice di generare un testo: a ogni passo si prende il token con la probabilità più alta.

scheda grafica (GPU)

Il processore nato per disegnare le immagini dei videogiochi: ha migliaia di piccole unità che fanno moltiplicazioni e somme tutte insieme.

Citato anche in

Modulo 2: passo 13

segnale di fine turno

Un token speciale che un assistente impara a scrivere quando la sua risposta è finita.

segnale di inizio

Token speciale, scritto <s>, che negli esempi del corso segnala l'inizio del testo.

sigmoide

Funzione che trasforma un singolo punteggio in una percentuale da 0 a 100%: un punteggio 0 diventa il 50%.

Citato anche in

Modulo 14: passi 6, 7

sistema di IA

Nel regolamento europeo sull'intelligenza artificiale (AI Act, art.

sistema esperto

Un programma che raccoglie la conoscenza di specialisti sotto forma di centinaia o migliaia di regole «se… allora…» scritte a mano, come MYCIN per gli antibiotici o XCON per configurare i computer.

Citato anche in

Modulo 2: passo 10

somiglianza del coseno

Misura di quanto due vettori puntano nella stessa direzione: vale 1 se hanno la stessa direzione, 0 se sono perpendicolari, −1 se hanno direzioni opposte.

Citato anche in

Modulo 10: passo 8 · Modulo 11: passo 1 · Modulo 12: passo 1

sovradattamento

Quando un modello si adatta troppo ai dati usati nell'addestramento e funziona peggio su dati nuovi.

Citato anche in

Modulo 16: passo 10

spettrogramma

Rappresentazione di un suono come una specie di immagine: per ogni istante (in orizzontale) indica quanta energia c'è in ogni fascia di frequenza (in verticale).

Citato anche in

Modulo 14: passi 1, 11

stanza cinese

L'esperimento mentale del filosofo John Searle (1980): una persona che non conosce il cinese risponde perfettamente a domande in cinese seguendo un libro di istruzioni, senza capire nulla.

stilometria

Studio dello stile con le misure: lunghezza delle frasi, punteggiatura, frequenza delle parole più comuni.

Citato anche in

Modulo 13: passo 23

T

t-SNE

Metodo per disegnare su un piano punti che stanno in molte dimensioni, conservando soprattutto chi è vicino a chi (van der Maaten e Hinton, 2008).

Citato anche in

Modulo 10: passo 10

Tekken

Il tokenizzatore di Mistral NeMo, costruito su testi di oltre cento lingue.

temperatura

Numero che divide i punteggi prima della softmax, quando si tira a sorte.

Citato anche in

Modulo 10: passi 5, 9 · Modulo 12: passi 1, 2, 4, 5, 8 · Modulo 13: passi 14, 18 · Modulo 17: passo 10

Riassunto grafico

pagine 2, 13, 15

teorema di Bayes

La regola che aggiorna la probabilità di un'ipotesi quando arriva un indizio.

tessera

Uno dei quadratini in cui un modello per le immagini divide una foto, per esempio di 16 × 16 pixel.

Citato anche in

Modulo 14: passi 1, 2

test di Turing

La prova proposta da Alan Turing nel 1950, che lui chiamava gioco dell'imitazione: una persona conversa per iscritto con un'altra persona e con una macchina, senza vederle, e deve capire chi è chi.

Citato anche in

Modulo 1: passo 5

token

Pezzo di testo che il modello tratta come unità: una parola, una parte di parola, un segno di punteggiatura o un singolo byte.

Spiegato in
Riassunto grafico

pagine 1, 2, 3, 4, 12, 13, 14, 15

tokenizzatore

Programma che spezza il testo in token e assegna a ciascuno il suo numero di vocabolario.

Citato anche in

Modulo 10: passi 2, 3; approfondimento «Come nasce un vocabolario di token» · Modulo 13: passi 13, 17 · Modulo 17: passo 10 · «Passo passo dentro Minerva»

top-k

Modo di tirare a sorte che tiene solo i k token più probabili; le loro probabilità vengono riportate a sommare 100% prima dell'estrazione.

Citato anche in

Modulo 12: passo 8; approfondimento «Quattro modi di scegliere»

transformer

Architettura di rete neurale presentata nel 2017 (Vaswani et al.) e alla base di quasi tutti i modelli linguistici di oggi.

Citato anche in

Modulo 2: passo 14 · Modulo 10: passo 5 · Modulo 11: passo 9; approfondimento «Perché si divide per la radice di 72»; approfondimento «Dalla somma alla rotazione» · Modulo 12: passo 11 · Modulo 13: passo 19 · Modulo 14: passi 1, 3, 4 · Modulo 17: passo 10

Riassunto grafico

pagina 2

U

UTF-8

Il modo più diffuso di scrivere il testo in byte.

V

value

Vettore con il contenuto che un token «consegna» a chi lo guarda.

Citato anche in

Modulo 12: passo 9 · Modulo 13: passo 19 · Modulo 14: passo 4 · «Una frase dentro Minerva» · «Le operazioni passo per passo»

Riassunto grafico

pagine 6, 9, 14

verosimiglianza della domanda

Metodo che valuta quanto un documento rende prevedibili i token di una domanda.

Citato anche in

Modulo 15: passo 5

vettore

Fila ordinata di numeri.

Riassunto grafico

pagine 2, 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 15

W

word2vec

Un metodo presentato da Google nel 2013 che trasforma ogni parola in un vettore di numeri ricavato da come la parola si usa nei testi; famoso l'esempio re − uomo + donna ≈ regina.

Citato anche in

Modulo 2: passo 12 · Modulo 10: passo 5

↑ Torna all'inizio