論文の概要: When the Judge Should Not Decide: Evidence-Locked, Non-Compensatory Selection Bounds LLM-Judge Failure in Reasoning Pipelines

• arxiv url: http://arxiv.org/abs/2608.07813v1
• Date: Fri, 07 Aug 2026 23:23:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.520341
• Title: When the Judge Should Not Decide: Evidence-Locked, Non-Compensatory Selection Bounds LLM-Judge Failure in Reasoning Pipelines
• Title（参考訳）: 裁判官が判断を下すべきでない場合:証拠に制限された非補償的選択境界が共振パイプラインにおけるLCM-Judge障害を生じさせる
• Abstract要約: 決定のコストは、審査員が組み込まれている決定規則よりも、判断精度にかかっていることが示される。 GRPOの4つの政策による凍結した候補プールについて、非拘束のスカラーのDeepSeek-R1-7B判事は、回答レベルの多数決でほとんど何も買わない。 次に、同じ裁判官を、タスク適応非補償規則であるEvidence-Locked DeriveGateGate (EL-DGR) に従属させる。
• 参考スコア（独自算出の注目度）: 4.0604823050005345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An LLM judge deployed inside a reasoning pipeline does not merely measure quality, it decides which answer ships. We show that the cost of that decision depends less on judge accuracy than on the decision rule the judge is embedded in. On frozen candidate pools from four GRPO policies, an unconstrained scalar DeepSeek-R1-7B judge buys almost nothing over answer-level majority vote (+1.0 pp on 500 GSM8K questions, +0.34 EM on 300 HotpotQA questions), and on a frozen-rule 30-question confirmation split it is 10 points worse than majority, a judge that destroys accuracy while scoring candidates confidently. We then subordinate the same judge to Evidence-Locked Derive-Gate-Repair (EL-DGR), a task-adaptive non-compensatory rule under which a judge preference may override evidence-supported consensus only with an extractive evidence certificate, and a repair only when neither alternative is certified and the repair is. With no change to the judge, the candidates, or the budget, EL-DGR reaches 58.2% on GSM8K (vs. 56.8% judge, 55.8% majority, 55.4% first candidate) and 17.33 EM / 25.46 F1 on HotpotQA (vs. 15.67/23.49, 15.33/23.19, 15.33/22.97), improving on first-candidate GRPO by +2.8 pp (exact McNemar p=0.0026) and +2.00 EM (p=0.070, borderline). A decision audit shows why: EL-DGR overturns consensus on only 8 of 30 pilot questions and never converts a correct consensus into an incorrect answer. We also report what did not work: the same seven-channel decomposition used as a step-level gated training reward is null, and corrected channel-drop ablations show no channel is individually necessary (p=1.0 throughout). The practitioner-facing finding is negative about judges and positive about admissibility, bound the judge's blast radius rather than trying to make it accurate.
• Abstract（参考訳）: 推論パイプライン内に展開されたLCMジャッジは、単に品質を計測するだけでなく、どの応答船かを決定する。 この決定のコストは、審査員が組み込まれている決定規則よりも、判断精度にかかっていることが示される。 4つのGRPO政策からの凍結された候補プールでは、非拘束のDeepSeek-R1-7B判事が回答レベルの多数決(500 GSM8K質問では+1.0 pp、300 HotpotQA質問では+0.34 EM)についてほとんど何も買わない。 次に、同じ裁判官をEvidence-Locked Derive-Gate-Repair (EL-DGR) に従属させます。 GSM8K (vs. 56.8%、55.8%、55.4%)で58.2%、HotpotQA (vs. 15.67/23.49、15.33/23.19、15.33/22.97)で17.33 EM / 25.46 F1、+2.8 pp (exact McNemar p=0.0026)でGRPOを改善。 EL-DGRは30のパイロット質問のうち8つだけがコンセンサスを覆い、正しいコンセンサスを誤った回答に変換することはない。 ステップレベルのゲートトレーニング報酬として使用する7チャンネル分解はヌルであり,修正されたチャネルドロップアブレーションは,個々のチャネルが不要であることを示す(p=1.0)。 実践者が直面する発見は、審査員に否定的であり、許容性について肯定的であり、判断を正確化しようとするのではなく、裁判官の爆発半径を制限している。

関連論文リスト

• trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories [0.0]
  アウトカムのみの評価は、LLMエージェントのプロダクションデフォルトである。 地下の真実が建設によって知られている盲点を測定する。 審査員の評価は、結果の生存によって、リコールを成す必要があると論じる。
  論文  参考訳（メタデータ） (2026-08-29T10:14:05Z)
• Competence, Not Accuracy: A Diagnostic for Reference-Free Judge Gates in Skill Optimization [9.9751102700286]
  テキスト空間スキル最適化は、自然言語スキルドキュメントを進化させ、検証ゲートを介して各候補を受け入れることで凍結エージェントに適応する。 審査員をループに配置する前に、そのスコアが不正な回答とは全く違うかどうかを判断できますか? 我々は、基準のない裁判官を潜在問題解決者として定式化し、その評決は、その結論と一致しているので、評価する能力は解決する能力によって制限される。 我々は、もし能力が床の近くにあり、その上に使用可能な場合、偶然に差別性を見出す。
  論文  参考訳（メタデータ） (2026-08-19T09:19:23Z)
• Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation [0.6768558752130311]
  このワークフローは、中間レコードが後続の判断に必要な情報を保存していると仮定する。 推論可能なモデルの場合、可視場秩序は内部決定順序を明らかにしないので、観測可能な代替品を試す。 我々は、標準的なペアワイズ判定、構造化ワンコール判定、ツーコールエビデンスロック、および3コールポイントワイズロックを、Claude Sonnet 4.5 と GPT-5 で比較した。
  論文  参考訳（メタデータ） (2026-08-05T19:23:56Z)
• Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
  99,952 の公試例について検討した。 正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。 RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
  論文  参考訳（メタデータ） (2026-07-30T10:29:22Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• More Convincing, Not More Correct: Self-Play Reward Hacking of Reference-Free LLM Judges [4.167333498582309]
  言語モデルをそれ自身の参照なし判断に対して訓練することは、モデルが答えの正しさを判断することを前提にしている。 候補者に条件付きで、裁判官は正当性ではなく妥当性をスコアし、政策が悪用することを学習する偽陽性の盆地を残す。
  論文  参考訳（メタデータ） (2026-07-07T06:59:30Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
  ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。 本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
  論文  参考訳（メタデータ） (2026-05-10T18:49:58Z)
• The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation [0.0]
  2つのOpenAIジャッジモデルを用いて、10のカテゴリにまたがる29のタスクの同一評価について検討した。 審査員全体では、ペアの選好は平均13.6%で反転し、質問の28%は20%のフリップ率を超え、1つの質問は56%に達した。 クロスジャッジ合意はわずか76%であり、意味論的に等価なプロンプトテンプレートはテストケースの25%で過半数の結果を変え、決定論的復号化は減少するが矛盾を排除しない。
  論文  参考訳（メタデータ） (2026-04-23T18:19:10Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。