論文の概要: Lost in Translation: Why Lower Bias Scores Don't Mean Fairer Models

• arxiv url: http://arxiv.org/abs/2610.20479v1
• Date: Wed, 14 Oct 2026 16:52:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.259028
• Title: Lost in Translation: Why Lower Bias Scores Don't Mean Fairer Models
• Title（参考訳）: 翻訳の損失:低調なバイアススコアがフェアなモデルにならない理由
• Abstract要約: バイアス監査は通常、英語におけるモデルの平均ステレオタイプスコアと他の言語における平均ステレオタイプスコアを比較し、その差を公平性の違いとして読み取る。 英語のテスト項目が単にリワードされたときのスコアの移動を計測し、各言語シフト項目をアイテムごとにテストし、テストが故意に注入されたシフトをキャッチするかどうかを確認します。 全70のモデル言語対において、ステレオタイプスコアは英語のレベルを下回り、ヒンディー語、韓国語、スワヒリ語では、英語が生成するリワードを明らかに上回る。
• 参考スコア（独自算出の注目度）: 3.845271717215186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bias audits of multilingual language models usually compare a model's average stereotype score in English with its average in another language and read the difference as a difference in fairness. We ask how much of that difference is noise. Auditing ten open models in eight languages, we measure how far scores move when English test items are merely reworded, test every language shift item by item, and check that the test catches shifts we inject on purpose. In all 70 model-language pairs the stereotype score falls below its English level, and for Hindi, Korean and Swahili the drop clearly exceeds what rewording English produces; most of it comes from StereoSet items. Judging every translation, we find that imperfect ones drop more, but faithful translations alone drop nearly as much. Still, a lower average does not show that a model is fairer. An item's English score predicts its translated score far less well than its reworded score (correlation 0.23, 0.27 on faithful translations, vs. 0.48), while scores stay as far from neutral, models agree on translated items, and within Hindi or Spanish a translated item's score correlates with its own rewording at 0.84 and 0.82. The average cannot distinguish lower bias from a different pattern of item-level scores. We also document three common pipeline errors that silently erase bias signal, and release our code.
• Abstract（参考訳）: 多言語モデルのバイアス監査は、通常、英語におけるモデルの平均ステレオタイプスコアと他の言語における平均ステレオタイプスコアを比較し、その差を公平性の違いとして読み取る。 私たちはその違いのどれ程がノイズか尋ねる。 8つの言語で10のオープンモデルを評価することで、英語のテスト項目が単にリワードされた場合にどれだけのスコアが動くかを測定し、すべての言語シフト項目をアイテムごとにテストし、テストが目的に注入されたシフトをキャッチするかどうかを確認します。 全70のモデル言語対において、ステレオタイプスコアは英語のレベルを下回り、ヒンディー語、韓国語、スワヒリ語では、英語が生成するリワードを明らかに上回っている。 すべての翻訳を判断すると、不完全な翻訳はもっと減るが、忠実な翻訳だけではほとんど減る。 それでも、より低い平均は、モデルがより公平であることを示さない。 項目の英語スコアは、その翻訳スコアがリワードされたスコアよりもはるかに低い(忠実な翻訳では0.23、0.27、真正な翻訳では0.48)と予測し、一方スコアは中立から遠ざかっているが、モデルが翻訳された項目では一致しており、ヒンディー語またはスペイン語では、翻訳された項目のスコアは0.84、0.82と相関している。 平均は、アイテムレベルのスコアの異なるパターンと低いバイアスを区別できません。 また、バイアス信号を静かに消去し、コードを解放する3つの一般的なパイプラインエラーも文書化しています。

関連論文リスト

• M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models [0.0]
  M-GATE(英語: M-GATE)は、30言語にまたがる言語能力のベンチマークである。 80以上の構成で50以上のモデルを評価しました。
  論文  参考訳（メタデータ） (2026-08-04T15:16:05Z)
• Lower-Resource, Higher Scores: Language Bias in LLM Evaluators [27.959960538188753]
  意味論的に同一の命令応答対を23言語で実験する。 その結果、多言語評価器は異なる評価言語に大きく異なるスコアを割り当てていることがわかった。
  論文  参考訳（メタデータ） (2026-07-16T01:53:09Z)
• Cross-Language Bias Examination in Large Language Models [37.21579885190632]
  本研究では,大規模言語モデルにおけるバイアス評価のための,革新的な多言語バイアス評価フレームワークを提案する。 プロンプトと単語リストを5つの対象言語に翻訳することにより、言語間で異なる種類のバイアスを比較する。 例えば、アラビア語とスペイン語はステレオタイプバイアスのレベルが常に高く、中国語と英語はバイアスのレベルが低い。
  論文  参考訳（メタデータ） (2025-12-17T23:22:03Z)
• Dutch CrowS-Pairs: Adapting a Challenge Dataset for Measuring Social Biases in Language Models for Dutch [6.522338519818378]
  オランダ語モデルにおけるバイアスを測定するための、米国固有のCrowS-Pairsデータセットのオランダ版が紹介されている。 得られたデータセットは、性的指向、ジェンダー、障害などの9つのカテゴリのバイアスをカバーする1463の文ペアで構成されている。 CrowS-Pairsデータセットの英語版とフランス語版を使用して、英語(BERTとRoBERTa)とフランス語(FlauBERTとCamemBERT)でバイアスを評価した。
  論文  参考訳（メタデータ） (2025-07-22T10:38:02Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)
• Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
  事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。 モデルは英語から道徳的規範を捉え、他の言語に強制するか? 我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
  論文  参考訳（メタデータ） (2022-11-14T20:08:54Z)
• Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
  大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。 これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。 特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
  論文  参考訳（メタデータ） (2022-03-18T12:26:37Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。