論文の概要: The Judge Can Debias Itself: Awareness and Self-Debiasing for Reliable LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2610.24320v1
• Date: Fri, 16 Oct 2026 23:36:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 02:22:44.244232
• Title: The Judge Can Debias Itself: Awareness and Self-Debiasing for Reliable LLM-as-a-Judge
• Title（参考訳）: 裁判官は自分自身を嫌悪できる:信頼性の高いLLM-as-a-Judgeに対する認識と自己嫌悪
• Abstract要約: LLM-as-a-Judgeシステムは、自動評価にますます利用されている。 我々は、審査員が追加の訓練をすることなく、効果的に自己を嫌悪できることを実証する。 バイアス認識と自己嫌悪の2つの軽量戦略を提案する。
• 参考スコア（独自算出の注目度）: 6.378020492064002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-Judge systems are increasingly employed for automated evaluation, yet remain susceptible to systematic biases that undermine their reliability. We demonstrate that the judge can effectively debias itself without additional training. We propose two lightweight strategies: bias-aware prompting, which explicitly alerts the judge to potential target biases prior to evaluation, and self-debiasing, in which the judge critiques the initial judgment for bias influence. To broaden the evaluation scope, we introduce three novel benchmarks--authority bias (fabricated citations), confidence bias (assertive phrasing), and formatting bias (structured presentation)--and evaluate across seven bias types in total. Across three frontier models, self-debiasing improves performance in 20 out of 21 model-bias combinations with gains up to 15 percentage points, while bias-aware prompting also yields consistent improvements. The recent fine-tuned external critic, however, does not generalize as reliably to the newly-introduced bias types (degradation observed in 5 out of 9 cases). Our findings demonstrate that prompting a judge to reason about bias, either preemptively or retrospectively, is a robust and generalizable approach for enhancing evaluation integrity.
• Abstract（参考訳）: LLM-as-a-Judgeシステムは、自動評価にますます採用されているが、信頼性を損なう体系的なバイアスの影響を受けやすいままである。 我々は、審査員が追加の訓練をすることなく、効果的に自己を嫌悪できることを実証する。 評価に先立って、判断者に潜在的な偏見を明示的に警告するバイアス対応プロンプトと、判断者が偏見の影響について最初の判断を批判する自己偏見の2つの軽量戦略を提案する。 評価範囲を広げるために,信頼性バイアス(ファブリック引用),信頼バイアス(アサーティブフレーズ),フォーマッティングバイアス(構造化プレゼンテーション)の3つの新しいベンチマークを導入し,合計7種類のバイアスを評価した。 3つのフロンティアモデル全体では、自己バイアスは21のモデルバイアスの組み合わせのうち20でパフォーマンスを向上し、最大15ポイントまで上昇する一方、バイアス認識のプロンプトも一貫した改善をもたらす。 しかし、最近の微調整外的批判は、新しく導入されたバイアスタイプ(9例中5例)を確実に一般化していない。 以上の結果から, 審査員に偏見の判断を促すことは, 評価の整合性を高めるための頑健かつ一般化可能なアプローチであることが示唆された。

関連論文リスト

• Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization [44.252712888022835]
  大規模言語モデル(LLM)に基づく審査員は、自動評価と報酬モデリングに広く採用されている。 LLMに基づく審査員のバイアスを系統的に定量化するためのベンチマークであるJiceBiasBenchを提案する。 我々は、生成的および差別的な裁判官の両方にまたがって実験を行い、現在の裁判官が有意かつ多様なバイアスパターンを示すことを明らかにした。
  論文  参考訳（メタデータ） (2026-03-09T08:32:21Z)
• BiasScope: Towards Automated Detection of Bias in LLM-as-a-Judge Evaluation [31.32711926164484]
  BiasScopeは,モデル評価中の潜在的なバイアスを自動的に,あるいは大規模に検出するフレームワークである。 judgeBench-Pro は LLM-as-a-judge の堅牢性を評価する上で,より難しいベンチマークである。
  論文  参考訳（メタデータ） (2026-02-10T03:51:03Z)
• Making Bias Non-Predictive: Training Robust LLM Judges via Reinforcement Learning [91.8584139564909]
  大規模言語モデル(LLM)は、ますます自動化された審査員として機能するが、認知バイアスの影響を受けやすいままである。 本稿では,重要原則に基づく強化学習フレームワークである疫学独立訓練(EIT)を提案する。 EITはバランスの取れた競合戦略を通じてこれを運用します。
  論文  参考訳（メタデータ） (2026-02-02T01:43:48Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Direct Judgement Preference Optimization [79.54459973726405]
  我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。 我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。 提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
  論文  参考訳（メタデータ） (2024-09-23T02:08:20Z)
• Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge [24.206975650221732]
  本研究では,LLM審査員の位置バイアスをペアワイドおよびリストワイド比較設定で評価する。 偏見に寄与する判断レベル、候補レベル、タスクレベルを識別する。
  論文  参考訳（メタデータ） (2024-06-12T01:12:28Z)
• Measuring and Addressing Indexical Bias in Information Retrieval [69.7897730778898]
  PAIRフレームワークは、ランキングドキュメンテーションやIRシステム全体の自動バイアス監査をサポートする。 DUOを導入した後、我々は32kの合成と4.7kの天然文書からなる新しいコーパスで8つのIRシステムの広範な評価を行った。 人間の行動学的研究は、私たちのアプローチを検証し、私たちのバイアスメトリクスが、いつ、どのように指標バイアスが読者の意見を変えるかを予測するのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-06T17:42:37Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。