Nel 1950, Alan Turing propose un metodo semplice ma profondamente impegnativo per determinare se le macchine potessero essere considerate capaci di “pensare”. Conosciuto come il Test di Turing, questo criterio di intelligenza artificiale mette in competizione umani e macchine in una sfida conversazionale, spingendo i giudici umani a distinguere tra intelligenza artificiale e genuina attraverso interazioni testuali.
Nonostante numerosi tentativi, nessun sistema artificiale era mai riuscito a superare in modo convincente questo test. Fino ad ora. Cameron Jones e Benjamin Bergen dell’Università della California, San Diego, hanno raccolto per la prima volta prove empiriche che il GPT-4.5 di OpenAI, un sofisticato modello di linguaggio di grandi dimensioni (LLM), ha superato con successo il Test di Turing. Non solo GPT-4.5 ha superato il test, ma in condizioni specifiche ha superato i suoi omologhi umani nel convincere i partecipanti della sua umanità.
Il lavoro ha implicazioni significative per la società, l’etica e la comprensione dell’intelligenza stessa da parte dell’umanità.
Umano contro macchina
Il Test di Turing mette un interrogatore contro due partner conversazionali — uno umano e uno macchina — coinvolgendoli entrambi simultaneamente tramite testo. Il compito dell’interrogatore è semplice: decidere quale partner conversazionale è umano. Ma nonostante i rapidi progressi nella linguistica computazionale e nell’apprendimento automatico, i sistemi di intelligenza artificiale hanno costantemente fallito questa sfida apparentemente semplice.
Per eseguire il test, Jones e Bergen hanno reclutato 284 partecipanti da background diversi, inclusi studenti universitari e lavoratori crowd-sourced pagati da Prolific, una società tecnologica che impiega umani per partecipare a esperimenti legati all’IA.
I ricercatori hanno messo a confronto diversi modelli di intelligenza artificiale contemporanei con gli umani — inclusi GPT-4o, LLaMa-3.1-405B e GPT-4.5. Interessantemente, GPT-4.5 è emerso come vincitore ma solo quando istruito ad adottare una “persona umana”. In quelle conversazioni, GPT-4.5 è stato giudicato come umano nel 73% dei casi: significativamente più spesso di quanto gli interrogatori abbiano selezionato il vero partecipante umano, affermano Jones e Bergen, evidenziando un notevole cambiamento nella capacità dell’IA di emulare la conversazione umana.
I ricercatori hanno anche utilizzato un vecchio chatbot basato su regole chiamato ELIZA per generare testo e questo è stato prontamente identificato come macchina dai giudici. Allo stesso modo, GPT-4o, un modello di generazione precedente, ha anche significativamente sottoperformato, scelto come umano solo nel 21% dei casi. “I risultati costituiscono la prima prova empirica che un sistema artificiale supera un test di Turing standard a tre parti”, affermano Jones e Bergen.
Jones e Bergen attribuiscono parte del successo di GPT-4.5 alla cura nella creazione di prompt progettati per guidare il modello nell’adottare una persona che gli umani trovano relazionabile e convincente — specificamente, una persona di un giovane introverso fluente nello slang e nella cultura di internet. La capacità di GPT-4.5 di fare ciò, affermano i ricercatori, dimostra un comando sfumato sui modelli linguistici e sulle sottigliezze interattive precedentemente ritenute unicamente umane.
Fonte: Discovery Technology
