Interpreting Stochastic Parrots: Uno studio sulla comprensione delle metafore nei Large Language Model addestrati sull’italiano.

Questo studio si propone di indagare se i Large Language Models (LLM) addestrati sull’italiano riescano a comprendere e interpretare le metafore, confrontando le loro prestazioni con quelle degli esseri umani. Per valutare l’efficacia dei modelli, sono stati sviluppati tre dataset che includono metafore, interpretazioni umane e interpretazioni implausibili, che fungono da distrattori per i modelli, e sono state misurate le log-likelihood assegnate dai modelli alle interpretazioni, al fine di verificare se tali valori fossero inferiori per le interpretazioni implausibili e superiori per quelle plausibili. Inoltre, i giudizi sulla convenzionalità e sul contesto linguistico delle espressioni metaforiche, raccolti dai partecipanti umani, sono stati utilizzati per studiare le tendenze nelle prestazioni dei modelli. I risultati sperimentali evidenziano che i LLM mostrano capacità modeste nel replicare aspetti della comprensione e produzione umana; inoltre, alcuni modelli risultano sensibilmente influenzati dalla convenzionalità delle espressioni e dall’adeguatezza del contesto linguistico delle metafore. Questi risultati offrono importanti spunti per comprendere quali aspetti dei sensi metaforici siano codificati nel contesto linguistico e comprensibili dai modelli di semantica distribuzionale, e quali LLM riescano ad avvicinarsi maggiormente ai processi cognitivi umani nella decodifica del significato metaforico.