Come funzionano (davvero) i Modelli di Linguaggio come GPT

Un modello come GPT viene addestrato su vasti insiemi di dati: testi raccolti da libri, articoli, siti web, e altre sorgenti d’informazione. Durante l’addestramento, il modello apprende a riconoscere pattern, associazioni di parole, frasi e strutture sintattiche, senza però comprenderne effettivamente il significato. Ogni parola o frase generata dal modello è il risultato di una stima probabilistica su quale parola potrebbe seguire quella precedente, basata sui dati con cui è stato addestrato. In altre parole, il modello calcola quale sequenza di parole ha la maggiore probabilità di essere corretta o plausibile, ma non ha alcuna comprensione cosciente di ciò che sta producendo.

.

La chiave per comprendere il modello

La chiave per comprendere come questi modelli funzionano risiede nella distinzione tra “pensare” e “generare”. Mentre il cervello umano elabora informazioni attraverso neuroni che comunicano in un processo complesso che coinvolge memoria, esperienza e comprensione concettuale, i modelli di IA come GPT generano contenuti attraverso la manipolazione statistica dei dati. Questo significa che l’IA non ha una “coscienza”, non comprende le emozioni, non ha intenzioni o obiettivi propri, e non è in grado di ragionare o apprendere autonomamente senza essere addestrata con nuovi dati. Ogni risultato prodotto dall’IA è il frutto di una previsione probabilistica su quali parole o frasi hanno la maggiore probabilità di apparire in un contesto simile nei dati di addestramento.

.

Ragiona o non ragiona?

Per avvicinarsi sempre di più alla simulazione del ragionamento umano, il recente modello di OpenAI o1, ad esempio, utilizza una tecnica di prompting chiamata chain of thought durante il suo training. La “chain of thought” è un metodo che permette ai modelli di Intelligenza Artificiale di risolvere problemi complessi attraverso una serie di passi intermedi, proprio come farebbe un essere umano quando affronta una sfida cognitiva. Invece di generare direttamente una risposta finale, il modello elabora la soluzione passando attraverso una sequenza di ragionamenti intermedi, che vengono esplicitati attraverso il testo generato.

Questo approccio è particolarmente utile per migliorare la coerenza e la qualità delle risposte su compiti complessi come la risoluzione di problemi matematici o di logica o1, grazie a questo training con chain of thought, è in grado di generare risposte che appaiono più “ponderate” o articolate rispetto a un modello generativo standard, poiché simula un processo di pensiero step-by-step che non solo aiuta il modello ad essere più preciso perché arriva alla fine della generazione “un passo alla volta” e non “tutto d’un colpo”, ma risulta anche più comprensibile all’essere umano che legge il risultato e può seguire i nessi che hanno portato alla conclusione. Ma pur sempre di generazione probabilistica e non di pensiero si tratta.

–

I veri limiti dei Modelli linguistici

Nonostante i progressi, i modelli di IA generativa presentano ancora significativi limiti. Poiché non “comprendono” veramente il contenuto che generano, possono produrre risposte incoerenti o errate in contesti complessi o in situazioni che richiedono conoscenze più approfondite o di domini specifici. Anche con tecniche come quelle utilizzate per realizzare o1, l’IA generativa rimane fondamentalmente una macchina che manipola simboli sulla base di dati passati, senza una reale comprensione del significato di questi simboli, e per questo è fondamentale realizzare sistemi che, nell’utilizzare questa tecnologia, mettano l’essere umano sempre in condizione di valutare la bontà o meno del risultato.