論文の概要: FairTranslate: An English-French Dataset for Gender Bias Evaluation in Machine Translation by Overcoming Gender Binarity
- arxiv url: http://arxiv.org/abs/2504.15941v1
- Date: Tue, 22 Apr 2025 14:35:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-30 17:56:30.729583
- Title: FairTranslate: An English-French Dataset for Gender Bias Evaluation in Machine Translation by Overcoming Gender Binarity
- Title（参考訳）: FairTranslate: ジェンダーバイナリを克服した機械翻訳におけるジェンダーバイアス評価のための英仏データセット
- Authors: Fanny Jourdan, Yannick Chevalier, Cécile Favre,
- Abstract要約: 大規模言語モデル(LLM)は、翻訳タスクにますます活用されているが、包括的言語を翻訳する際にはしばしば不足する。
本稿では、英語からフランス語への機械翻訳システムにおいて、非二項性バイアスを評価するために設計された、完全に人間による注釈付きデータセットを提案する。
- 参考スコア（独自算出の注目度）: 0.6827423171182154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly leveraged for translation tasks but often fall short when translating inclusive language -- such as texts containing the singular 'they' pronoun or otherwise reflecting fair linguistic protocols. Because these challenges span both computational and societal domains, it is imperative to critically evaluate how well LLMs handle inclusive translation with a well-founded framework. This paper presents FairTranslate, a novel, fully human-annotated dataset designed to evaluate non-binary gender biases in machine translation systems from English to French. FairTranslate includes 2418 English-French sentence pairs related to occupations, annotated with rich metadata such as the stereotypical alignment of the occupation, grammatical gender indicator ambiguity, and the ground-truth gender label (male, female, or inclusive). We evaluate four leading LLMs (Gemma2-2B, Mistral-7B, Llama3.1-8B, Llama3.3-70B) on this dataset under different prompting procedures. Our results reveal substantial biases in gender representation across LLMs, highlighting persistent challenges in achieving equitable outcomes in machine translation. These findings underscore the need for focused strategies and interventions aimed at ensuring fair and inclusive language usage in LLM-based translation systems. We make the FairTranslate dataset publicly available on Hugging Face, and disclose the code for all experiments on GitHub.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、翻訳タスクにますます活用されているが、特異な 'they' 代名詞を含むテキストや、それ以外は公正な言語プロトコルを反映するテキストなど、包括的言語を翻訳する際にしばしば不足する。
これらの課題は計算領域と社会領域の両方にまたがっているため、LLMが十分に確立されたフレームワークによる包括的翻訳をいかにうまく処理するかを批判的に評価することが不可欠である。
本稿では,英語からフランス語への機械翻訳システムにおける非二項性バイアスを評価するために,FairTranslateを提案する。
FairTranslateには、職業に関連する2418の英語とフランス語の文対が含まれており、職業のステレオタイプ的なアライメント、文法的な性別表示のあいまいさ、基調的な性別ラベル(男性、女性、包括的)などの豊富なメタデータが注釈付けされている。
我々は,このデータセットに対して,異なるプロンプト手順で4つのLLM(Gemma2-2B,Mistral-7B,Llama3.1-8B,Llama3.3-70B)を評価した。
以上の結果から,LLM間の性別表現の偏りが顕著であり,機械翻訳における平等な結果を達成する上での難題が浮き彫りになった。
これらの知見は、LLMベースの翻訳システムにおいて、公平かつ包括的な言語使用を保証するための戦略と介入の必要性を浮き彫りにした。
FairTranslateデータセットをHugging Faceで公開し、GitHubですべての実験のコードを公開しています。
関連論文リスト
- The Lou Dataset -- Exploring the Impact of Gender-Fair Language in German Text Classification [57.06913662622832]
ジェンダーフェア言語は、すべての性別に対処したり、中立形を使用することによって包摂性を促進する。
ジェンダーフェア言語はラベルを反転させ、確実性を減らし、注意パターンを変化させることで予測に大きな影響を及ぼす。
ドイツ語のテキスト分類への影響について最初の知見を提供する一方で、他の言語にもその知見が当てはまる可能性が高い。
論文 参考訳（メタデータ） (2024-09-26T15:08:17Z) - GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。
GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文 参考訳（メタデータ） (2024-08-22T15:35:46Z) - Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T08:13:51Z) - Fine-grained Gender Control in Machine Translation with Large Language Models [15.63784352130237]
複数のエンティティを持つより現実的な入力設定で、制御された翻訳に取り組む。
提案手法は,詳細な実体レベルのジェンダー情報を用いてモデルを指示し,正しいジェンダーインフレクションで翻訳する。
我々は、複数の実体の性別を制御する際に、ジェンダー干渉現象が出現することを発見した。
論文 参考訳（メタデータ） (2024-07-21T13:15:00Z) - GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。
ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。
既存のLVLMでは男女差が広くみられた。
論文 参考訳（メタデータ） (2024-06-30T05:55:15Z) - Investigating Markers and Drivers of Gender Bias in Machine Translations [0.0]
大型言語モデル(LLM)におけるインプシット性バイアスは、文書化された問題である。
我々は、DeepL翻訳APIを使用して、56のソフトウェアエンジニアリングタスクを繰り返し翻訳する際に生じるバイアスを調査する。
いくつかの言語は、類似した代名詞の使用パターンを示し、3つの緩いグループに分類する。
文中に出現する主動詞は,翻訳における意味のあるジェンダーの要因である可能性が示唆された。
論文 参考訳（メタデータ） (2024-03-18T15:54:46Z) - Probing Explicit and Implicit Gender Bias through LLM Conditional Text
Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。
本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文 参考訳（メタデータ） (2023-11-01T05:31:46Z) - A Tale of Pronouns: Interpretability Informs Gender Bias Mitigation for
Fairer Instruction-Tuned Machine Translation [35.44115368160656]
機械翻訳モデルがジェンダーバイアスを示すか否かについて検討する。
We found that IFT model default to male-inflected translations, evengarding female occupational stereotypes。
実装が容易で効果的なバイアス緩和ソリューションを提案する。
論文 参考訳（メタデータ） (2023-10-18T17:36:55Z) - Gender-specific Machine Translation with Large Language Models [39.49764957694078]
デコーダのみの大規模言語モデル(LLM)は機械翻訳の可能性を実証している。
LLMはプロンプトを通じて出力のプロパティを制御する機能を提供する。
以上の結果から,LLaMaは,現在最先端の多言語NMTシステムに匹敵する,翻訳精度と性別偏差を有する性特化翻訳を生成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-06T17:24:06Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳（メタデータ） (2023-06-21T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。