論文の概要: Opening LLM Judges: Recovering Preference Signals Beyond the Final Verdict

• arxiv url: http://arxiv.org/abs/2609.32407v1
• Date: Sat, 26 Sep 2026 09:26:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:29:06.04143
• Title: Opening LLM Judges: Recovering Preference Signals Beyond the Final Verdict
• Title（参考訳）: LLMの審査員、最終判決を超えて選好のシグナルを回収
• Abstract要約: 判断が間違っている場合、正しく判断するために必要な情報はモデルから外れているか、内部表現に存在しているが出力に反映されていないか? 41名の裁判官に対する因果的介入を含む,64名のオープンウェイト評価者と14名のデータセットを対象に,これについて検討した。
• 参考スコア（独自算出の注目度）: 16.03390601181823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM judges are widely used to evaluate model outputs, but their verdicts can be unreliable: a judge may favor the worse answer for its position, length, or other surface features. When a judge is wrong, is the information needed to judge correctly absent from the model, or present in its internal representations but not reflected in the output? We study this across 64 open-weight evaluators and 14 datasets, including causal interventions on 41 judges (editing activations mid-run to see whether the verdict changes). On LLMBar, built so the superficially better answer is the worse one, the verdicts of 50 judges agree with human labels only 0.456 of the time, even after averaging both answer orders. Yet a small probe on the same judges' activations, with no weight updates, reaches 0.846, and 0.686 once surface features such as length and position are residualized out (0.507 with shuffled labels). The gap holds across eight benchmarks and model families, but is not universal: a score of how well surface features alone predict the human label, computed before any probe is trained, predicts the size of the gain (Spearman rho = 0.90). On rubric tasks that score one answer at a time, leaving no surface cue to exploit, reading the internals gives no advantage. The interventions also show that editing activations mid-network already changes the verdict, before it can be read off directly, and locate the pathways carrying position and length bias. At the same label budget, the recovered signal lets a judge flag cases where it is likely wrong and yields better labels for preference learning. A wrong verdict, then, does not mean the judge lacks the information, and a simple diagnostic shows when it is worth recovering.
• Abstract（参考訳）: LLM審査員は、モデル出力を評価するために広く使用されているが、その判断は信頼できない。 判断が間違っている場合、正しく判断するために必要な情報はモデルから外れているか、内部表現に存在しているが出力に反映されていないか? 我々はこれを、41人の裁判官に対する因果的介入を含む64のオープンウェイト評価者と14のデータセットにまたがって調査した。 LLMBarは、表面上はより良い答えがより悪いものであるように構築されているが、50人の審査員の評決は、両方の回答命令を平均したとしても、人のラベルにわずか0.456の時間で一致している。 しかし、同じ審査員のアクティベーションに関する小さな調査では、重みが更新されずに0.846に達し、長さや位置などの表面の特徴が残ると0.686となる(シャッフルラベル付き0.507)。 このギャップは8つのベンチマークとモデルファミリにまたがるが、普遍的ではない: どんなプローブが訓練される前に計算された表面的特徴だけで人間のラベルを予測し、ゲインのサイズを予測するスコア(Spearman rho = 0.90)。 一度に1つの答えをスコアするルーリックなタスクについて、表面的なキューを使わずに、内部を読むことは利点がない。 これらの介入は、ネットワーク中における編集の活性化が、直接読み取る前に判断を既に変更し、位置と長さの偏りを持つ経路を見つけることも示している。 同じラベルの予算で、回収された信号は、裁判官が誤っている可能性がある場合にフラグを付けることができ、好みの学習のためにより良いラベルを得る。 間違った判断は、裁判官が情報を欠いているという意味ではなく、簡単な診断は、それが回復する価値のあることを示しています。

関連論文リスト

• Pinned and Still Unstable: Within-Judge Verdict Variance and the Noise Floor of LLM-as-Judge Leaderboards [0.0]
  LLM評価は、審査員を固定されたモデルスナップショットにピン留めし、温度ゼロで復号すると再現可能な判定が得られると仮定する。 この仮定は、LLM-as-Judgeがクラウドサービスインフラ上でどのように運用されているかという特性として失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-27T00:19:41Z)
• trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories [0.0]
  アウトカムのみの評価は、LLMエージェントのプロダクションデフォルトである。 地下の真実が建設によって知られている盲点を測定する。 審査員の評価は、結果の生存によって、リコールを成す必要があると論じる。
  論文  参考訳（メタデータ） (2026-08-29T10:14:05Z)
• Beyond Accuracy: A Dual-Judge Evaluation Protocol for Vision-Language Models in Legally Grounded Tasks [1.2555090617748867]
  我々は、標準の0-10品質判断と厳密な二項意味等価判定とを、人為的な基準に対して組み合わせた二重判断プロトコルを寄贈する。 我々は、制御された視覚的基盤を持つ規制課題について研究し、その意味は、すべての入力に対して既知の参照を持つコーデレートされた質問である。
  論文  参考訳（メタデータ） (2026-08-25T08:49:46Z)
• How Sensitive Are Safety Benchmarks to Judge Configuration Choices? [5.94231111588812]
  HarmBenchのような安全ベンチマークは、モデル応答を有害または安全と分類する判断に頼っている。 判定モデルと判定プロンプトの組み合わせは,一般に一定の実装の詳細として扱われる。 審査員モデルの定式化により, 評価された有害応答率を最大24.2%にシフトした。
  論文  参考訳（メタデータ） (2026-04-27T05:59:59Z)
• Evaluative Fingerprints: Stable and Systematic Differences in LLM Evaluator Behavior [0.0]
  審査員は一貫性があるが、互いに一致していない。 評価は3,240件を超え、中間合意はほぼゼロに近い。 審査員の平均得点は、審査員の実際の値に該当しない合成判定を生成する。
  論文  参考訳（メタデータ） (2026-01-08T17:02:22Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。