Un robot domestico addestrato in fabbrica per svolgere compiti casalinghi potrebbe non riuscire a pulire efficacemente il lavandino o a portare fuori la spazzatura quando viene utilizzato nella cucina di un utente, poiché questo nuovo ambiente differisce dallo spazio di addestramento. Per evitare ciò, gli ingegneri cercano spesso di far corrispondere l’ambiente di addestramento simulato il più possibile al mondo reale in cui l’agente verrà impiegato. Tuttavia, ricercatori del MIT e di altre istituzioni hanno scoperto che, contrariamente a questa saggezza convenzionale, a volte l’addestramento in un ambiente completamente diverso produce un agente di intelligenza artificiale più performante.
Effetto dell’addestramento indoor
I risultati indicano che, in alcune situazioni, addestrare un agente AI simulato in un mondo con meno incertezza, o “rumore”, gli permette di esibirsi meglio rispetto a un agente AI concorrente addestrato nello stesso mondo rumoroso utilizzato per testare entrambi gli agenti. I ricercatori chiamano questo fenomeno inaspettato l’effetto dell’addestramento indoor. “Se impariamo a giocare a tennis in un ambiente indoor senza rumore, potremmo essere in grado di padroneggiare più facilmente diversi colpi. Poi, se ci spostiamo in un ambiente più rumoroso, come un campo da tennis ventoso, potremmo avere una probabilità più alta di giocare bene rispetto a se avessimo iniziato ad imparare nell’ambiente ventoso,” spiega Serena Bono, assistente di ricerca al MIT Media Lab e autrice principale di un articolo sull’effetto dell’addestramento indoor.
Studio sui giochi Atari
I ricercatori hanno studiato questo fenomeno addestrando agenti AI a giocare a giochi Atari, che hanno modificato aggiungendo un po’ di imprevedibilità. Sono rimasti sorpresi nel trovare che l’effetto dell’addestramento indoor si verificava costantemente nei giochi Atari e nelle loro varianti. Sperano che questi risultati stimolino ulteriori ricerche verso lo sviluppo di migliori metodi di addestramento per gli agenti AI.
Nuove prospettive per l’addestramento AI
“Questa è un’asse completamente nuova su cui riflettere. Piuttosto che cercare di far corrispondere gli ambienti di addestramento e di test, potremmo essere in grado di costruire ambienti simulati in cui un agente AI apprende ancora meglio,” aggiunge il co-autore Spandan Madan, studente laureato all’Università di Harvard. Bono e Madan sono affiancati nell’articolo da Ishaan Grover, studente laureato al MIT; Mao Yasueda, studente laureato all’Università di Yale; Cynthia Breazeal, professoressa di arti e scienze dei media e leader del Personal Robotics Group al MIT Media Lab; Hanspeter Pfister, professore di informatica ad Harvard; e Gabriel Kreiman, professore alla Harvard Medical School. La ricerca sarà presentata alla Conferenza dell’Associazione per l’Avanzamento dell’Intelligenza Artificiale.
Problemi di addestramento
I ricercatori hanno deciso di esplorare perché gli agenti di apprendimento per rinforzo tendono ad avere prestazioni così scarse quando vengono testati su ambienti che differiscono dal loro spazio di addestramento. L’apprendimento per rinforzo è un metodo di prova ed errore in cui l’agente esplora uno spazio di addestramento e impara a compiere azioni che massimizzano la sua ricompensa. Il team ha sviluppato una tecnica per aggiungere esplicitamente una certa quantità di rumore a un elemento del problema di apprendimento per rinforzo chiamato funzione di transizione.
Ricevi le ultime attualità sul mondo tech!
