論文の概要: Uncertainty Quantification for Evaluating Machine Translation Bias

• arxiv url: http://arxiv.org/abs/2507.18338v1
• Date: Thu, 24 Jul 2025 12:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:43.616566
• Title: Uncertainty Quantification for Evaluating Machine Translation Bias
• Title（参考訳）: 機械翻訳バイアス評価のための不確実性定量化
• Authors: Ieva Raminta Staliūnaitė, Julius Cheng, Andreas Vlachos,
• Abstract要約: 機械翻訳(MT)では、原文が性別が過度にマークされていないレキセムを含む場合、その文脈や外部知識から適切な性別を推測しなければならない。 あいまいな例では、高い翻訳精度と性別の精度を持つモデルが必ずしも不明瞭な例では不確実性のレベルを示すとは限らないことが判明した。
• 参考スコア（独自算出の注目度）: 6.559560602099439
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In machine translation (MT), when the source sentence includes a lexeme whose gender is not overtly marked, but whose target-language equivalent requires gender specification, the model must infer the appropriate gender from the context and/or external knowledge. Studies have shown that MT models exhibit biased behaviour, relying on stereotypes even when they clash with contextual information. We posit that apart from confidently translating using the correct gender when it is evident from the input, models should also maintain uncertainty about the gender when it is ambiguous. Using recently proposed metrics of semantic uncertainty, we find that models with high translation and gender accuracy on unambiguous instances do not necessarily exhibit the expected level of uncertainty in ambiguous ones. Similarly, debiasing has independent effects on ambiguous and unambiguous translation instances.
• Abstract（参考訳）: 機械翻訳(MT)では、ソース文が、性別が過度にマークされていないレキセムを含むが、ターゲット語相当が性別仕様を必要とする場合、その文脈や外部知識から適切な性別を推測しなければならない。 MTモデルは、文脈情報と衝突してもステレオタイプに依存してバイアスのある振る舞いを示すことが研究によって示されている。 我々は、入力から明らかな時に正しい性別を確実に翻訳することとは別に、不明瞭な場合には、モデルが性別に関する不確実性を維持するべきであると仮定する。 最近提案されたセマンティック不確実性の指標を用いて、不明瞭なインスタンスにおける高い翻訳と性別の精度を持つモデルは、不明瞭なインスタンスにおいて期待される不確実性のレベルを必ずしも示さないことがわかった。 同様に、デバイアスは曖昧で曖昧な翻訳インスタンスに独立に影響を及ぼす。

関連論文リスト

• Are We Paying Attention to Her? Investigating Gender Disambiguation and Attention in Machine Translation [4.881426374773398]
  最小ペア精度(MPA)と呼ばれる新しい評価指標を提案する。 MPAは、モデルが最小ペアで性別に適応するかどうかに焦点を当てている。 MPAは、反ステレオタイプの場合、NMTモデルは男性的な性別の手がかりを考慮に入れやすいことを示している。
  論文  参考訳（メタデータ） (2025-05-13T13:17:23Z)
• Assumed Identities: Quantifying Gender Bias in Machine Translation of Gender-Ambiguous Occupational Terms [2.5764960393034615]
  GRAPEは、性別バイアスを評価するための確率ベースの指標である。 GAMBIT-MTは、性別のあいまいな職業用語を持つ英語のベンチマークデータセットである。
  論文  参考訳（メタデータ） (2025-03-06T12:16:14Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• A Tale of Pronouns: Interpretability Informs Gender Bias Mitigation for Fairer Instruction-Tuned Machine Translation [35.44115368160656]
  機械翻訳モデルがジェンダーバイアスを示すか否かについて検討する。 We found that IFT model default to male-inflected translations, evengarding female occupational stereotypes。 実装が容易で効果的なバイアス緩和ソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-18T17:36:55Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• Investigating Failures of Automatic Translation in the Case of Unambiguous Gender [13.58884863186619]
  トランスフォーマーベースのモデルは、ニューラルマシン翻訳(NMT)のための現代の作業馬です。 我々は、名詞の性別をマークしない言語から他の名詞に翻訳することに関して、トランスフォーマーモデルによる体系的で初歩的なエラーのクラスを観察する。 トランスベースのNMTモデルがジェンダーを正しく翻訳する能力を測定するための評価スキームとデータセットをリリースします。
  論文  参考訳（メタデータ） (2021-04-16T00:57:36Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。