論文の概要: FairQE: Multi-Agent Framework for Mitigating Gender Bias in Translation Quality Estimation
- arxiv url: http://arxiv.org/abs/2604.21420v1
- Date: Thu, 23 Apr 2026 08:35:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.38729
- Title: FairQE: Multi-Agent Framework for Mitigating Gender Bias in Translation Quality Estimation
- Title（参考訳）: FairQE: 翻訳品質推定におけるジェンダーバイアスの軽減のためのマルチエージェントフレームワーク
- Abstract要約: 品質評価は、参照翻訳なしで機械翻訳の品質を評価することを目的としている。
近年の研究では、既存のQEモデルは体系的な性別バイアスを示すことが示されている。
ジェンダー・アンビグラス・ジェンダー・エクスプリシットの両方のシナリオにおいて、ジェンダーバイアスを緩和するフェアネスを意識したQEフレームワークであるFairQEを提案する。
- 参考スコア（独自算出の注目度）: 30.26650508806054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quality Estimation (QE) aims to assess machine translation quality without reference translations, but recent studies have shown that existing QE models exhibit systematic gender bias. In particular, they tend to favor masculine realizations in gender-ambiguous contexts and may assign higher scores to gender-misaligned translations even when gender is explicitly specified. To address these issues, we propose FairQE, a multi-agent-based, fairness-aware QE framework that mitigates gender bias in both gender-ambiguous and gender-explicit scenarios. FairQE detects gender cues, generates gender-flipped translation variants, and combines conventional QE scores with LLM-based bias-mitigating reasoning through a dynamic bias-aware aggregation mechanism. This design preserves the strengths of existing QE models while calibrating their gender-related biases in a plug-and-play manner. Extensive experiments across multiple gender bias evaluation settings demonstrate that FairQE consistently improves gender fairness over strong QE baselines. Moreover, under MQM-based meta-evaluation following the WMT 2023 Metrics Shared Task, FairQE achieves competitive or improved general QE performance. These results show that gender bias in QE can be effectively mitigated without sacrificing evaluation accuracy, enabling fairer and more reliable translation evaluation.
- Abstract（参考訳）: 品質評価(QE)は、参照翻訳なしで機械翻訳の品質を評価することを目的としているが、近年の研究では、既存のQEモデルが体系的な性別バイアスを示すことが示されている。
特に、性別のあいまいな文脈における男性的な実現を好んでおり、性別が明示的に特定された場合でも、ジェンダーミスの翻訳により高いスコアを割り当てる傾向にある。
このような問題に対処するために、FairQEというマルチエージェントベースのフェアネス対応QEフレームワークを提案する。
FairQEはジェンダークイーズを検出し、ジェンダーフリップされた翻訳変種を生成し、従来のQEスコアとLLMに基づくバイアス緩和推論を動的バイアス認識アグリゲーション機構で組み合わせる。
この設計は、既存のQEモデルの強みを保ちつつ、プラグアンドプレイ方式で性別関連バイアスを調整している。
複数の性別バイアス評価設定の広範な実験は、FairQEが強いQEベースラインよりも男女公正性を一貫して改善していることを示している。
さらに、WMT 2023 Metrics Shared Taskに続くMQMベースのメタ評価では、FairQEは、競争力や改善された一般的なQEパフォーマンスを達成する。
これらの結果から,QEにおける性別バイアスは,評価精度を犠牲にすることなく効果的に緩和でき,より公平で信頼性の高い翻訳評価が可能であることが示唆された。
関連論文リスト
- XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。
MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。
XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
論文 参考訳（メタデータ） (2026-04-16T12:27:10Z) - GAMBIT+: A Challenge Set for Evaluating Gender Bias in Machine Translation Quality Estimation Metrics [18.766033854102663]
機械翻訳(MT)システムにおけるジェンダーバイアスは広範囲に記録されているが、自動品質推定(QE)メトリクスのバイアスは比較的過小評価されている。
既存の研究では、QEメトリクスは性別バイアスも示せるが、ほとんどの分析は小さなデータセット、狭い職業範囲、制限された言語多様性によって制限されている。
本稿では,ジェンダーのあいまいな職業用語を含む翻訳を評価する際に,QE指標の振る舞いを調査するための大規模課題セットを提案する。
論文 参考訳（メタデータ） (2025-10-08T10:09:03Z) - Bias in Gender Bias Benchmarks: How Spurious Features Distort Evaluation [116.86965910589775]
対象物の10%だけをマスクしたり、背景が弱くぼやけたりといった、最小限の摂動でさえ、バイアススコアを劇的に変える可能性がある。
これは、現在のバイアス評価がモデル応答を、性別バイアスよりも刺激的な特徴に反映していることを示唆している。
論文 参考訳（メタデータ） (2025-09-09T11:14:11Z) - Measuring Bias or Measuring the Task: Understanding the Brittle Nature of LLM Gender Biases [2.9803250365852443]
本稿では, 課題評価の目的が, LLMの性別バイアスに与える影響について検討する。
ジェンダーバイアス(性偏見)の評価とより明確に一致していることが、ジェンダーの出力分布を区別する要因であることがわかった。
論文 参考訳（メタデータ） (2025-09-04T16:32:18Z) - Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement [6.92803536773427]
自然言語処理(NLP)と情報検索(IR)システムの社会的バイアスは、現在進行中の課題である。
我々は,大言語モデル(LLM)を利用して,通過ランクの性別バイアスを検出し,測定することで,この問題に対処することを目指している。
そこで我々は,既存の制約に対処するために,CWEx (Class-wise Weighted Exposure) という新しいジェンダーフェアネス尺度を導入する。
論文 参考訳（メタデータ） (2025-06-27T16:39:12Z) - Assumed Identities: Quantifying Gender Bias in Machine Translation of Gender-Ambiguous Occupational Terms [12.568906647547815]
GRAPEは、性別バイアスを評価するための確率ベースの指標である。
GAMBITは、性別のあいまいな職業用語を持つ英語のベンチマークデータセットである。
GRAPEを用いて、いくつかのMTシステムを評価し、ギリシャ語とフランス語の性別による翻訳が社会的ステレオタイプと一致しているか、あるいは相違するかを検討する。
論文 参考訳（メタデータ） (2025-03-06T12:16:14Z) - The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。
以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。
DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
論文 参考訳（メタデータ） (2024-11-06T06:50:50Z) - Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation [28.01631390361754]
本稿では,QE指標の性別バイアスを定義し,検討する。
男性求心性翻訳は女性求心性翻訳よりも高く,性中立性翻訳はペナルティ化されている。
調査の結果は,ジェンダーを中心としたQE指標の開発と評価に新たな焦点をあてることの必要性を浮き彫りにした。
論文 参考訳（メタデータ） (2024-10-14T18:24:52Z) - GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。
GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文 参考訳（メタデータ） (2024-08-22T15:35:46Z) - Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T08:13:51Z) - Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。
我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文 参考訳（メタデータ） (2022-10-17T08:55:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。