Bias di genere nel modello di traduzione automatica DeepL: proposta di un benchmark e analisi critica

Con la introducción de los enfoques neuronales, los modelos de traducción automática han alcanzado niveles de precisión sin precedentes, gracias al entrenamiento en grandes corpus paralelos (Sutskever et al., 2014). Sin embargo, a pesar de estos avances, el sesgo sigue siendo un problema significativo, en particular el de género, que se manifiesta en la asignación estereotipada de roles profesionales. Por ejemplo, términos como ingeniero suelen traducirse en masculino, mientras que enfermera aparece en femenino, reflejando y amplificando asimetrías sociales preexistentes (Olson, 2018). Si bien los benchmark son herramientas fundamentales para evaluar la calidad de las traducciones, a menudo pasan por alto el impacto de los estereotipos de género, centrándose principalmente en métricas de precisión general. Este trabajo analiza primero estas limitaciones, examinando tres benchmark específicos para la medición del sesgo de género en la traducción automática: MuST-SHE, GATE y MT-GenEval. Posteriormente, a través de un experimento realizado con el modelo de TA DeepL, se estudia el tratamiento de frases que contienen estereotipos de género, con especial atención a la correlación entre profesiones y estatus social. El estudio concluye con una reflexión crítica sobre los resultados del análisis, destacando cómo la traducción es un proceso extremadamente complejo, cuyo éxito depende de la interacción entre modelos computacionales e intervención humana.

Con l’introduzione degli approcci neurali, i modelli di traduzione automatica hanno raggiunto livelli senza precedenti di accuratezza, grazie all’addestramento su vasti corpora paralleli (Sutskever et al., 2014). Tuttavia, nonostante questi progressi, il bias rimane un problema significativo, in particolare quello di genere, che si manifesta nell’assegnazione stereotipata di ruoli professionali. Ad esempio, termini come "ingegnere" vengono spesso tradotti al maschile, mentre "infermiera" al femminile, riflettendo e amplificando asimmetrie sociali preesistenti (Olson, 2018). Sebbene i benchmark siano strumenti fondamentali per valutare la qualità delle traduzioni, essi trascurano spesso l’impatto degli stereotipi di genere, concentrandosi principalmente su metriche di accuratezza generale. Questo lavoro dapprima analizza tali limitazioni, esaminando tre benchmark specifici per la misurazione del bias di genere nella traduzione automatica: MuST-SHE, GATE e MT-GenEval. Successivamente, attraverso un esperimento condotto sul modello di TA DeepL, viene studiato il trattamento delle frasi contenenti stereotipi di genere, con particolare attenzione alla correlazione tra professioni e status sociale. L’elaborato si conclude con una riflessione critica sui risultati dell’analisi, sottolineando come la traduzione sia un processo estremamente complesso, il cui successo dipende dall’interazione tra modelli computazionali e intervento umano.