論文の概要: When Noise Fabricates Bias: The Fragility of LLM-as-a-Judge Bias Measurement under Noisy Text

• arxiv url: http://arxiv.org/abs/2609.11067v1
• Date: Thu, 10 Sep 2026 04:14:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.210536
• Title: When Noise Fabricates Bias: The Fragility of LLM-as-a-Judge Bias Measurement under Noisy Text
• Title（参考訳）: LLM-as-a-Judge バイアス測定における雑音がバイアスを発生させる場合-
• Abstract要約: 大規模な言語モデルは、テキストにおける社会的バイアスを測定するためにますます使われています。 彼らが判断する節は、しばしば騒々しく、タイプミス、非公式な綴り、句読点が壊れている。 社会的バイアス測定における表面雑音の影響について検討する。
• 参考スコア（独自算出の注目度）: 9.390930014584606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used as judges to measure social bias in text, yet the passages they judge are often noisy, containing typos, informal spelling, and broken punctuation. The consequences of such surface noise for social bias measurement remain unclear. To investigate this question, we apply five realistic noise conditions at multiple intensity levels to 3,822 stereotype-related responses and compare the resulting bias judgments with those on the original text. We find that such surface noise does not degrade bias measurement symmetrically: it is far more likely to turn neutral judgments into biased ones than biased judgments into neutral ones, by up to a 120x margin. We further observe two non-obvious effects across four LLM judges: in the most fragile judge the distortion is at its purest at mild, realistic noise levels, where erasure is scarcest, and as judges grow robust it attenuates toward parity rather than reversing. Bias measured on noisy text is therefore systematically overestimated, most in the categories that matter most for fairness.
• Abstract（参考訳）: 大きな言語モデルは、テキストにおける社会的偏見を測定するために裁判官として使われることが多いが、彼らが判断する節は、しばしば騒々しいもので、タイプミス、非公式な綴り、句読点が壊れている。 社会的バイアス測定におけるこのような表面ノイズの影響は、いまだに不明である。 そこで本研究では,3,822件のステレオタイプ関連応答に対して,複数の強度レベルで5つの現実的雑音条件を適用し,その結果のバイアス判定を原文と比較する。 このような表面ノイズは、偏差測定を対称的に劣化させるものではなく、偏差判定を120倍の差で、偏差判定を偏差判定に置き換える可能性がはるかに高い。 もっとも脆弱な判断では、歪みは穏やかで現実的な騒音レベルにおいて最も純粋であり、消去は不十分であり、裁判官が強固に成長するにつれて、逆転ではなくパリティに向かって減衰する。 したがって、ノイズの多いテキストで測定されたバイアスは体系的に過大評価される。

関連論文リスト

• Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias [28.271298519059034]
  我々は、同じバイアスが裁判官の隠された状態における表現レベルの説明を許容していると主張している。 審査員7名,バイアスタイプ7名,ベンチマーク9名の3つの結果が報告された。
  論文  参考訳（メタデータ） (2026-07-13T17:55:19Z)
• Ask the Right Comparison:Bias-Aware Bayesian Active Top-$k$ Ranking with LLM Judges [31.082191748525137]
  大規模言語モデル(LLM)は、候補出力をペアで比較する、安価でスケーラブルな判断器として、ますます使われている。 固定比較予算の下で,トップクアイテムを識別する実践的目標について検討する。 我々は,次の比較を選択し,不確実性を最大に低減する,トップク対応のアクティブな獲得ルールを導入する。
  論文  参考訳（メタデータ） (2026-07-02T12:39:30Z)
• Side-by-side Comparison Amplifies Dialect Bias in Language Models [13.147713730335775]
  言語モデル(LM)は、方言のバリエーションに基づいたバイアスを示すことができる。 我々は、LMが定型的特徴と意図等価なつぶやきをどう関連づけるかを評価することで、隠れ方言バイアスを定量化する。
  論文  参考訳（メタデータ） (2026-05-23T03:51:44Z)
• Bias in Gender Bias Benchmarks: How Spurious Features Distort Evaluation [116.86965910589775]
  対象物の10%だけをマスクしたり、背景が弱くぼやけたりといった、最小限の摂動でさえ、バイアススコアを劇的に変える可能性がある。 これは、現在のバイアス評価がモデル応答を、性別バイアスよりも刺激的な特徴に反映していることを示唆している。
  論文  参考訳（メタデータ） (2025-09-09T11:14:11Z)
• What's Not Said Still Hurts: A Description-Based Evaluation Framework for Measuring Social Bias in LLMs [8.219247185418821]
  大規模言語モデル(LLM)は、しばしばトレーニングデータから受け継がれた社会的バイアスを示す。 本稿では、意味レベルでバイアスを評価するために設計された新しいデータセットであるDescription-based Bias Benchmark(DBB)を紹介する。 我々は6つの最先端LCMを分析し、モデルが項レベルでの応答バイアスを減少させる一方で、微妙な設定でバイアスを補強し続けていることを明らかにした。
  論文  参考訳（メタデータ） (2025-02-27T04:25:54Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、プロンプトによって記述されたユーザー属性とインプットの関係を測定する。 本研究では, 子どもの就寝時間, ユーザ・ペルソナ, 英語学習演習の3つの文脈から, RUTEdの類似性を評価する。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference [20.112129592923246]
  我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。 現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。 重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
  論文  参考訳（メタデータ） (2022-11-07T21:02:23Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• A Prompt Array Keeps the Bias Away: Debiasing Vision-Language Models with Adversarial Learning [55.96577490779591]
  視覚言語モデルは社会的バイアスやステレオタイプを符号化することができる。 これらのマルチモーダル害の測定と緩和には課題がある。 バイアス尺度を調査し,画像テキスト表現にランキング指標を適用した。
  論文  参考訳（メタデータ） (2022-03-22T17:59:04Z)
• The price of unfairness in linear bandits with biased feedback [62.25313751895011]
  線形帯域フィードバックによる逐次意思決定の問題点について検討する。 その結果,不偏フィードバック下で得られたdT 1/2 log(T) の後悔率よりも最悪の後悔率が高いことがわかった。 興味深いことに、ギャップ依存率によって、問題はバイアスのないものほど難しくない非自明なインスタンスの存在が明らかになる。
  論文  参考訳（メタデータ） (2022-03-18T08:03:20Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。