Signore, c'è un goblin nel mio LLM: il fine-tuning e i suoi effetti farfalla
Rubén Castillo Sánchez
In una recente analisi interna, OpenAI ha documentato un modello di comportamento insolito che è diventato difficile da ignorare una volta osservato: il modello aveva sviluppato una tendenza a menzionare goblin, gremlin e creature simili in contesti in cui non apportavano alcun valore. Ciò che inizialmente sembrava una curiosità aneddotica è diventato misurabile nel tempo, con un chiaro aumento sia in frequenza che in coerenza.
A prima vista, questo sembra un piccolo errore stilistico. In pratica, offre una prospettiva utile per esaminare come si svolgono le fasi finali dell'addestramento dei moderni modelli di linguaggio e quali implicazioni queste fasi possono avere sul comportamento osservabile.
Dall'osservazione al modello
I primi indizi non indicavano casualità. Creature magiche hanno iniziato a essere "avvistate" in diversi prompt, domini e casi d'uso, senza essere legate a parole chiave specifiche o a fattori scatenanti chiaramente identificabili. Con il tempo, il comportamento è diventato riproducibile in un modo che suggerisce che il modello avesse interiorizzato una preferenza stilistica invece di generare rumore occasionale.
Questo dettaglio si è rivelato importante per i ricercatori perché, sebbene i modelli di linguaggio siano progettati per generare variazione, la variazione persistente di solito riflette una struttura sottostante. Quando iniziano ad apparire motivi ricorrenti in contesti diversi, normalmente possono essere ricondotti a segnali che sono stati rafforzati durante le ultime fasi dell'addestramento e dell'allineamento.
In questo caso specifico, OpenAI ha potuto attribuire il comportamento all'addestramento utilizzato per la sua funzionalità di personalizzazione della personalità, in particolare la personalità "Nerdy". Questa personalità era esplicitamente progettata per essere giocosa, entusiasta e leggermente irriverente, con istruzioni come "minare la pretenziosità attraverso un uso ludico del linguaggio" e affrontare argomenti complessi senza cadere in un'eccessiva serietà. In pratica, ciò significava che le risposte che utilizzavano metafore vivide o insolite venivano valutate più favorevolmente durante l'addestramento.
Con il tempo, le risposte che includevano riferimenti a creature come "goblin" o "gremlin" ottenevano punteggi leggermente superiori rispetto a risposte simili che ne erano prive. Man mano che questi esempi con valutazioni migliori venivano riutilizzati nelle fasi successive dell'addestramento, il modello appariva con maggiore frequenza e cominciava a generalizzarsi oltre il contesto originale. Ciò che era iniziato come una peculiarità stilistica all'interno di una personalità specifica si è trasformato in una tendenza ricorrente nelle risposte del modello in generale.
Una panoramica del fine-tuning
Per capire come ciò accada, è utile rivedere brevemente come vengono addestrati i moderni modelli di linguaggio. Il processo di solito inizia con una fase nota come pretraining, in cui il modello viene esposto a grandi volumi di testo e impara a prevedere la parola successiva in una sequenza. Attraverso questo processo, sviluppa un'ampia comprensione statistica del linguaggio, inclusi grammatica, struttura e molti modelli d'uso.
Dopo questa fase iniziale, il modello ha una comprensione generale del linguaggio, ma le sue risposte non sono ancora modellate per soddisfare le aspettative degli utenti in modo coerente. Le fasi successive si concentrano sul perfezionamento di questo comportamento attraverso forme di addestramento più mirate, comunemente raggruppate sotto il termine fine-tuning:
Fine-tuning supervisionato (SFT) introduce esempi attentamente selezionati di risposte desiderabili. Questi esempi codificano struttura, tono e aderenza al compito.
Ottimizzazione basata sulle preferenze, spesso implementata tramite reinforcement learning from human feedback (RLHF) o altri metodi simili, perfeziona ulteriormente il modello. Le risposte vengono classificate o punteggiate, e il modello viene ottimizzato per generare quelle che si allineano con gli esempi valutati meglio.
In questa fase, l'obiettivo va oltre la semplice previsione della parola successiva, verso un ambiente di ricompensa che riflette i giudizi umani su qualità, utilità e stile. Questo cambiamento è fondamentale, poiché consente al modello di apprendere quali tipi di risposte sono preferite, oltre a quali sono corrette.
Piccoli segnali nello spazio di ricompensa
I dati sulle preferenze umane contengono pregiudizi impliciti, che si trasferiscono al modello di ricompensa utilizzato durante l'addestramento successivo. Quando i valutatori classificano sistematicamente determinate risposte come più interessanti o di qualità superiore, il modello tende ad aumentare la probabilità di generare risultati simili. Questo rinforzo non agisce direttamente sulle singole parole, ma su modelli di espressione più ampi, come il tono, la struttura, il ritmo o l'uso di metafore.
Nei modelli di linguaggio, lo stile non è uno strato superficiale aggiunto dopo il ragionamento o la correttezza. Determina quali risposte sono più probabili, quali analogie risultano naturali e quali pattern lessicali sono disponibili in ciascun contesto. Quando un tono giocoso o ricco di metafore viene ripetutamente associato a ricompense più elevate, il modello impara a riprodurre il modello espressivo che sta alla base di quello stile.
Di conseguenza, possono emergere tendenze stilistiche coerenti senza essere state esplicitamente definite. Un modello non ha bisogno di istruzioni dirette per adottare una voce "nerdy" o con riferimenti culturali; è sufficiente che le risposte con tali caratteristiche siano sistematicamente preferite affinché il modello converga verso una regione stilistica sfumata che riutilizza in contesti diversi.
Ciò che rende questo caso particolarmente interessante non è solo il fatto che il comportamento sia stato rafforzato all'interno della personalità "Nerdy", ma che non sia rimasto confinato ad essa. Modelli inizialmente associati a un contesto stilistico specifico hanno iniziato ad apparire in contesti non correlati, inclusi ambienti come il codice, dove erano chiaramente inappropriati.
Questo evidenzia un limite strutturale degli attuali modelli di linguaggio: non vi è alcuna garanzia che i segnali di addestramento applicati in un contesto rimangano localizzati. Poiché il modello condivide un unico insieme di parametri per tutti i casi d'uso, i comportamenti appresi sotto una determinata configurazione possono propagarsi più ampiamente.
Se i riferimenti a elementi fantastici appaiono con sufficiente frequenza all'interno di risposte ben valutate, anche se come sottoprodotto di uno stile più espressivo, rimangono statisticamente associati alla ricompensa. Durante l'addestramento, il modello adatta il suo comportamento verso regioni in cui questi modelli sono più probabili, aumentando leggermente la probabilità che appaiano in contesti diversi.
Nel corso di successive fasi di addestramento, questi piccoli cambiamenti di probabilità si accumulano. Ciò che inizia come una variazione occasionale diventa una caratteristica ricorrente del comportamento del modello, perché tali riferimenti viaggiano insieme a uno stile che è stato coerentemente rafforzato. Il risultato può sembrare intenzionale, anche se emerge da regolazioni distribuite su un gran numero di parametri.
Perché questi effetti scalano
La dinamica osservata è coerente con ciò che viene spesso descritto come un effetto farfalla, in cui piccoli cambiamenti localizzati si accumulano fino a produrre comportamenti globali visibili e, a volte, inaspettati. Nel contesto dell'addestramento successivo, ciò deriva dal modo in care il modello si aggiorna attraverso molteplici passaggi di ottimizzazione incrementale, ognuno dei quali introduce lievi modifiche al suo comportamento.
Presi singolarmente, questi cambiamenti sono insignificanti. Nel complesso, possono modificare il comportamento in modo significativo. Diversi fattori contribuiscono a questa amplificazione:
Ottimizzazione iterativa che accumula piccole preferenze nel corso di molteplici passaggi di addestramento
Generalizzazione che estende i modelli locali a nuovi contesti
Rappresentazioni interconnesse che consentono a sottili correlazioni di influenzare parti del comportamento apparentemente non correlate
Di conseguenza, anche segnali deboli possono trasformarsi in tratti percepibili. Una preferenza costante, applicata ripetutamente, è sufficiente a spostare il modello verso regioni in cui determinati pattern appaiono con maggiore frequenza. Questi effetti non solo si amplificano nel tempo, ma possono anche propagarsi tra contesti diversi, rendendo difficile confinare i comportamenti appresi agli ambienti in cui sono stati originariamente incentivati.
Il fenomeno dei goblin fornisce un esempio concreto di questa dinamica, rendendo visibile come piccoli pregiudizi stilistici introdotti durante l'addestramento possano scalare fino a diventare caratteristiche persistenti del comportamento del modello.
Mitigazione e suoi limiti
OpenAI ha affrontato la questione attraverso una combinazione di interventi mirati. Ha rimosso la personalità "Nerdy" che amplificava il comportamento, ha ritirato il segnale di ricompensa che favoriva le metafore con creature durante l'addestramento e ha filtrato i dati contenenti parole come "goblin" o "gremlin" per ridurne la prevalenza. Poiché il problema si era già propagato alle versioni successive del modello, ha anche introdotto istruzioni aggiuntive in determinati contesti, come i prompt per sviluppatori in Codex, per disincentivare questi riferimenti durante la generazione delle risposte.
A livello pratico, ciò comporta un cambiamento nel tipo di risposte che vengono incoraggiate durante l'addestramento. Riducendo l'associazione tra determinati modelli stilistici e il feedback positivo, il sistema smette di favorire le risposte in cui compaiono questi modelli. La cura dei dati completa questo processo limitando la frequenza con cui questi modelli appaiono negli esempi di addestramento, mentre le istruzioni aggiuntive agiscono come uno strato correttivo durante la generazione delle risposte.
Queste misure sono efficaci nel ridurre il sintomo immediato, ma non eliminano la sensibilità sottostante del sistema. Il fine-tuning continua a dipendere dalla qualità, dall'equilibrio e dalla coerenza dei segnali che riceve, e piccoli cambiamenti in tali segnali possono continuare a propagarsi durante l'addestramento.
Ogni intervento introduce anche dei compromessi. Ridurre la deriva stilistica può limitare l'espressività del modello. Imporre restrizioni più forti può migliorare l'affidabilità in determinati contesti, ma influire sulla fluidità o naturalezza in altri. Regolare i segnali di ricompensa può correggere un modello indebolendone al contempo altri che erano correlati ad esso.
L'obiettivo, pertanto, non è raggiungere una configurazione perfettamente stabile, ma gestire continuamente questi compromessi con una maggiore visibilità su come i segnali di addestramento si traducono in comportamento osservabile.
Conclusione
Il caso dei goblin può sembrare un'anomalia innocua, ma evidenzia come funziona l'allineamento nella pratica. I modelli di linguaggio sono guidati da approssimazioni delle preferenze umane, che catturano tendenze piuttosto che regole precise. Di conseguenza, possono generare comportamenti coerenti con i loro segnali di addestramento e, allo stesso tempo, disallineati con le aspettative dell'utente in determinati contesti.
Questo divario riflette una sfida più ampia. Non si tratta tanto di una questione di capacità, quanto di come vengono definiti gli obiettivi e di come si propagano attraverso l'addestramento. Piccoli segnali coerenti possono accumularsi e dare origine a modelli di comportamento stabili che risultano difficili da anticipare a partire dalle singole decisioni di progettazione.
Il valore di questo episodio risiede in ciò che rivela. L'allineamento è un processo continuo, sensibile a dettagli che possono sembrare insignificanti se presi singolarmente, e richiede la capacità di tracciare il comportamento osservato fino ai segnali che lo hanno prodotto.
Il goblin è un personaggio minore in questa storia, ma funge da utile promemoria: piccole sviste nel modo in cui viene configurato l'addestramento possono emergere in seguito come tratti visibili e persistenti nel comportamento del modello, e le stesse dinamiche che producono peculiarità innocue possono, in altre condizioni, dare origine a effetti molto più rilevanti.
