論文の概要: Benchmarking Gender Bias in Machine Translation Evaluation Metrics across Occupations

• arxiv url: http://arxiv.org/abs/2609.21490v1
• Date: Fri, 18 Sep 2026 08:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.934898
• Title: Benchmarking Gender Bias in Machine Translation Evaluation Metrics across Occupations
• Title（参考訳）: 作業間の機械翻訳評価指標におけるジェンダーバイアスのベンチマーク
• Abstract要約: ジェンダーバイアスは機械翻訳(MT)における持続的関心事である 我々は,WMT 2026自動翻訳品質評価システム共有タスクにおいて,この挙動について検討する。 また, 男性翻訳では, 職業ごとの性別表現の違いとともに, より高い得点を得られる傾向が見られた。
• 参考スコア（独自算出の注目度）: 18.766033854102663
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Gender bias remains a persistent concern in machine translation (MT), affecting both generated translations and their automatic evaluation. When a source text leaves a person's gender unspecified, translations may realize that person using masculine or feminine forms, and both MT systems and evaluation metrics may exhibit systematic preferences between these alternatives despite the source providing no basis for such a distinction. We study this behavior in the WMT 2026 Automated Translation Quality Evaluation Systems Shared Task using an occupation-balanced subset of GAMBIT+. We consider seven English-source language pairs, six from the original dataset, targeting Arabic, Czech, Greek, Icelandic, Russian, and Ukrainian, and extend the original resource with German. The subset contains 1,308 masculine/feminine translation pairs per target language, with three examples for each of the 436 ISCO-08 occupational groups. We evaluate shared-task submissions and baselines for score prediction and error annotation, examining the direction, magnitude, and frequency of gender-related differences. We find an overall tendency for masculine translations to receive higher scores, as well as differences per occupation following stereotypical gender representations, although the strength and consistency of this preference vary considerably across evaluators and languages. Our results show that gender bias remains present in MT evaluation, but that capturing its extent requires looking beyond a single aggregate measure to complementary dimensions of evaluator behavior.
• Abstract（参考訳）: ジェンダーバイアスは、生成した翻訳と自動評価の両方に影響を与える、機械翻訳(MT)における永続的な関心事である。 ソーステキストが人物の性別を不特定にしておくと、翻訳者は男性または女性形態の人物を認識し、MTシステムと評価指標の両方がこれらの選択肢を体系的に選好する可能性があるが、ソースはそのような区別の根拠を提供していない。 GAMBIT+の職業バランスサブセットを用いて,WMT 2026自動翻訳品質評価システム共有タスクにおいて,この動作について検討する。 アラビア語、チェコ語、ギリシャ語、アイスランド語、ロシア語、ウクライナ語を対象とし、原資料をドイツ語で拡張する。 このサブセットは、ターゲット言語ごとに1,308の男性/女性翻訳ペアを含み、それぞれ436のISCO-08の職業グループに3つの例がある。 我々は,男女差の方向,大きさ,頻度を調べた上で,スコア予測とエラーアノテーションのための共有タスクの提出とベースラインの評価を行った。 本研究は, 男性翻訳において, ステレオタイプによる性別表現による職業ごとの差に加えて, 高い得点を得られる傾向が見られたが, 評価者や言語によって, 好みの強さと一貫性は著しく異なる。 以上の結果から,ジェンダーバイアスはMT評価に残ることが示唆された。

関連論文リスト

• Gender Bias in MT for a Genderless Language: New Benchmarks for Basque [1.1419092834574525]
  バスク語を含む翻訳において、性別バイアスを評価するための2つの新しいデータセットを導入する。 大規模言語モデル (LLM) と機械翻訳システム (MT) の評価を行った。
  論文  参考訳（メタデータ） (2026-03-09T09:35:55Z)
• GAMBIT+: A Challenge Set for Evaluating Gender Bias in Machine Translation Quality Estimation Metrics [18.766033854102663]
  機械翻訳(MT)システムにおけるジェンダーバイアスは広範囲に記録されているが、自動品質推定(QE)メトリクスのバイアスは比較的過小評価されている。 既存の研究では、QEメトリクスは性別バイアスも示せるが、ほとんどの分析は小さなデータセット、狭い職業範囲、制限された言語多様性によって制限されている。 本稿では,ジェンダーのあいまいな職業用語を含む翻訳を評価する際に,QE指標の振る舞いを調査するための大規模課題セットを提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:09:03Z)
• Assumed Identities: Quantifying Gender Bias in Machine Translation of Gender-Ambiguous Occupational Terms [12.568906647547815]
  GRAPEは、性別バイアスを評価するための確率ベースの指標である。 GAMBITは、性別のあいまいな職業用語を持つ英語のベンチマークデータセットである。 GRAPEを用いて、いくつかのMTシステムを評価し、ギリシャ語とフランス語の性別による翻訳が社会的ステレオタイプと一致しているか、あるいは相違するかを検討する。
  論文  参考訳（メタデータ） (2025-03-06T12:16:14Z)
• The Lou Dataset -- Exploring the Impact of Gender-Fair Language in German Text Classification [57.06913662622832]
  ジェンダーフェア言語は、すべての性別に対処したり、中立形を使用することによって包摂性を促進する。 ジェンダーフェア言語はラベルを反転させ、確実性を減らし、注意パターンを変化させることで予測に大きな影響を及ぼす。 ドイツ語のテキスト分類への影響について最初の知見を提供する一方で、他の言語にもその知見が当てはまる可能性が高い。
  論文  参考訳（メタデータ） (2024-09-26T15:08:17Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Decoding and Diversity in Machine Translation [90.33636694717954]
  NMTが楽しむBLEUスコアに対して支払う費用の多様性の違いを特徴付ける。 本研究は,ジェンダー代名詞を翻訳する際に,検索が既知バイアスの正解源となることを示唆する。
  論文  参考訳（メタデータ） (2020-11-26T21:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。