Dimensioni dell’IA

La quantità è una parte importante dei ragionamenti; a volte diventa qualità, diceva un tale. Cose piccole sono trattabili, cose grandi meno. I computer (in generale le macchine) servono a rendere trattabili cose troppo grandi per noi. Ma anche loro hanno dei limiti, pratici o teorici. 

Per esempio GPT-3 (la cosa che sta dietro ChatGPT, ma anche dietro DALLE-E, per quanto si faccia fatica a capire cosa c’entrano l’una con l’altra ed entrambe col T9) è una cosa grossa assai. GPT significa Generative Pre-trained Transformer. Grosso modo, per quel che anche un ignorante come me capisce, è un modello linguistico con un sacco di parametri che è stato costruito nel 2020 a partire da diverse sorgenti utilizzare come dati di partenza una copia di internet, Wikipedia, archivi di immagini, etc. Un oggetto molto, molto grande.

Quanti parametri, cioè quanti possibili modi di configurare il modello? Dicono 175 miliardi. Un numero talmente grande che solo un altro software è in grado di enumerarli o verificarli.

Quanto spazio occupa nella memoria di un computer? 800 Gb. Per dire che non è che lo fate girare sul PC di casa (4 Gb), e nemmeno su quello dell’università o dell’ufficio (32 Gb). In effetti non gira sulle CPU di un computer tradizionale, ma sulle GPU, che sono specializzate per il calcolo parallelo. Tra l’altro consuma anche parecchio: pare che per realizzare GPT-3 siano stati consumati 1250 Megawatt.

Come si accede e si interagisce con una cosa del genere, allora? Con delle API, delle Application Programming Interface, che assomigliano ai distributori di caffè. Tu metti un gettone, una moneta, una carta, e loro scelgono, macinano, scaldano, versano. 

Infatti quelli che sono diventati famosi sono dei client, cioè delle interfacce che mettono in comunicazione le persone (o altri software) con le API del gigante. 

Dicevamo che GPT-3 non è costruito con revisione umana. Ha tuttavia bisogno di verifiche per apportare qualche correzione (per esempio per trovare i bug o per limitare i casi in cui venga usato per generare testi razzisti o sessisti) ed è il motivo per cui a tutti questi client è stato, finora, lasciato l’accesso libero.

La API di ChatGPT sono state messe a disposizione gratuitamente dai produttori, OpenAI. Ma a prescindere dall’uso immediato, di chi è ChatGPT? Chi lo può modificare, controllare? Il codice sorgente non è pubblico, ma pare che OpenAI (che è una fondazione, non perché sia più etica degli altri ma perché così paga meno tasse come Wikipedia), abbia ceduto l’esclusiva a Microsoft, che finora ha investito in OpenAI 10.000.000.000 dollari. La stessa Microsoft, incidentalmente, possiede GitHub, che è un repository di codice sorgente, e usa GPT per far funzionare AI Copilot, che è un software che produce su richiesta non poesie o dialoghi divertenti ma nuovi codici sorgenti.

Sono informazioni che si trovano su Wikipedia, niente di segreto.

Che se ne ricava? Che questa roba non la controlliamo ora e non la controlleremo mai perché è troppo grande – deve essere grande per funzionare. Che non è come il software normale che uno può imparare a costruire e a eseguire, e magari vendere. Questa è una cosa che ha bisogno di enormi risorse, come una raffineria petrolifera ha bisogno di un giacimento di petrolio, vicino o lontano. Chi si può permettere di sfruttare un giacimento e una raffineria, anche se di dati? Qualcuno, a sua volta, molto grande. Ad oggi, febbraio 2023, hanno dichiarato di stare per proporre servizi “in stile ChatGPT” anche Baidu, Yandex e Google.

Altro che preoccuparsi perché gli studenti copiano.