L’effetto sorpresa è il segreto per addestrare l’intelligenza artificiale preservandone la creatività, un po’ come accade nell’apprendimento dei bambini. Lo afferma uno studio pubblicato sulla rivista “Acm Transactions on Intelligent Systems and Technology” dall’Istituto di scienza e tecnologie dell’informazione del Consiglio Nazionale delle Ricerche di Pisa con Università di Pisa, Scuola Normale Superiore e Victoria University di Wellington, in Nuova Zelanda.
La diffusione capillare dei modelli di IA generativa sta aumentando il rischio di “autofagia”, cioè la possibilità che l’intelligenza artificiale possa addestrarsi su output prodotti da se stessi. Un circolo vizioso che produce una degenerazione nota come “collasso del modello” e la qualità del contenuto generato si abbassa notevolmente.
“Analizzando quattro modelli di IA generativa, come Llama sviluppato da Meta, abbiamo osservato che il collasso può manifestarsi in modi diversi. Da un lato, il contenuto generato diventa sempre meno vario e presenta sempre le stesse parole; dall’altro, le frasi generate sono meno coerenti e significative e le risposte meno sensate”, spiega Daniele Gambetta, ricercatore post-doc presso l’Università di Pisa. “Nell’autofagia il modello smette di apprendere nuove informazioni – osserva Dino Pedreschi dell’Università di Pisa – Reintrodurre la sorpresa nell’addestramento richiama il modo in cui i bambini imparano dagli eventi inattesi”.
La soluzione più comune è distinguere i testi umani da quelli prodotti dall’IA per poi selezionare solo quelli umani per l’addestramento, cosa sempre più difficile da fare man mano che i modelli di IA diventano più sofisticati. “Il nostro metodo propone invece di misurare la perplexity, cioè il livello di sorpresa nei documenti secondo il modello. Un documento è sorprendente per il modello se il modello stesso l’avrebbe scritto in modo diverso”, afferma Luca Pappalardo del Cnr-Isti. “Nei nostri esperimenti abbiamo dimostrato che selezionando per l’addestramento solo i documenti sorprendenti si mitiga il problema del collasso”.
“Questo approccio non richiede di sapere se un documento è stato scritto da un umano o da una macchina e, in un’epoca in cui distinguere i due tipi di contenuto è sempre più difficile, questa proprietà è fondamentale per la strategia”, conclude Gizem Gezici, ricercatrice presso la Scuola Normale Superiore. “Il nostro lavoro fornisce una possibile soluzione a un problema che diventerà sempre più impellente con la diffusione di questi modelli nella produzione testuale in vari contesti”.