論文の概要: Uncertainty Quantification for Evaluating Machine Translation Bias

• arxiv url: http://arxiv.org/abs/2507.18338v2
• Date: Tue, 21 Oct 2025 11:25:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:08.720723
• Title: Uncertainty Quantification for Evaluating Machine Translation Bias
• Title（参考訳）: 機械翻訳バイアス評価のための不確実性定量化
• Authors: Ieva Raminta Staliūnaitė, Julius Cheng, Andreas Vlachos,
• Abstract要約: 我々は、機械翻訳システムにおける性別バイアスを測定するために不確実性を用いる。 高い翻訳精度は不確実性を適切に示すことと相関せず, 脱バイアスが両症例に異なる影響を及ぼすことが判明した。
• 参考スコア（独自算出の注目度）: 8.210153370613941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The predictive uncertainty of machine translation (MT) models is typically used as a quality estimation proxy. In this work, we posit that apart from confidently translating when a single correct translation exists, models should also maintain uncertainty when the input is ambiguous. We use uncertainty to measure gender bias in MT systems. When the source sentence includes a lexeme whose gender is not overtly marked, but whose target-language equivalent requires gender specification, the model must infer the appropriate gender from the context and can be susceptible to biases. Prior work measured bias via gender accuracy, however it cannot be applied to ambiguous cases. Using semantic uncertainty, we are able to assess bias when translating both ambiguous and unambiguous source sentences, and find that high translation accuracy does not correlate with exhibiting uncertainty appropriately, and that debiasing affects the two cases differently.
• Abstract（参考訳）: 機械翻訳(MT)モデルの予測不確実性は、一般的に品質推定プロキシとして使用される。 本研究では、単一の正しい翻訳が存在する場合の確実な翻訳とは別に、入力が曖昧である場合にはモデルも不確実性を維持するべきであると仮定する。 我々はMTシステムの性別バイアスを測定するために不確実性を用いる。 ソース文に、性別が過度にマークされていないレキセムが含まれているが、そのターゲット言語相当が性別仕様を必要とする場合、モデルは、コンテキストから適切な性別を推測し、バイアスに影響を受けやすい。 先行研究は、性別の正確さによる偏見を測定するが、あいまいなケースには適用できない。 意味的不確実性を用いて、曖昧な文と曖昧な文の両方を翻訳する際のバイアスを評価でき、高い翻訳精度は不確実性を適切に示さないことと相関し、デバイアスが2つのケースに異なる影響を与えることを見出すことができる。

関連論文リスト

• Are We Paying Attention to Her? Investigating Gender Disambiguation and Attention in Machine Translation [4.881426374773398]
  最小ペア精度(MPA)と呼ばれる新しい評価指標を提案する。 MPAは、モデルが最小ペアで性別に適応するかどうかに焦点を当てている。 MPAは、反ステレオタイプの場合、NMTモデルは男性的な性別の手がかりを考慮に入れやすいことを示している。
  論文  参考訳（メタデータ） (2025-05-13T13:17:23Z)
• Assumed Identities: Quantifying Gender Bias in Machine Translation of Gender-Ambiguous Occupational Terms [2.5764960393034615]
  GRAPEは、性別バイアスを評価するための確率ベースの指標である。 GAMBIT-MTは、性別のあいまいな職業用語を持つ英語のベンチマークデータセットである。
  論文  参考訳（メタデータ） (2025-03-06T12:16:14Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• A Tale of Pronouns: Interpretability Informs Gender Bias Mitigation for Fairer Instruction-Tuned Machine Translation [35.44115368160656]
  機械翻訳モデルがジェンダーバイアスを示すか否かについて検討する。 We found that IFT model default to male-inflected translations, evengarding female occupational stereotypes。 実装が容易で効果的なバイアス緩和ソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-18T17:36:55Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• Investigating Failures of Automatic Translation in the Case of Unambiguous Gender [13.58884863186619]
  トランスフォーマーベースのモデルは、ニューラルマシン翻訳(NMT)のための現代の作業馬です。 我々は、名詞の性別をマークしない言語から他の名詞に翻訳することに関して、トランスフォーマーモデルによる体系的で初歩的なエラーのクラスを観察する。 トランスベースのNMTモデルがジェンダーを正しく翻訳する能力を測定するための評価スキームとデータセットをリリースします。
  論文  参考訳（メタデータ） (2021-04-16T00:57:36Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。