論文の概要: Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap

• arxiv url: http://arxiv.org/abs/2610.15778v2
• Date: Wed, 14 Oct 2026 09:42:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.248141
• Title: Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap
• Title（参考訳）: 判事のハッキングのペースを誰が決める? 判事の能力と政策判断のギャップ
• Abstract要約: GRPO の下では、フリーフリーの LLM 判事に対して、RL は判事の偽陽性を悪用する。 我々は、GSM8Kの0.5Bおよび1.5B Qwen2.5ポリシーを、少なくとも4人の裁判官に対して訓練し、1.5Bポリシーは、1人の小さな裁判官に対しても訓練する。 ポストホック分析では、審査員の受理率は上昇したが、シード平均のグリーディ精度で0.04以上の細胞は得られなかった。
• 参考スコア（独自算出の注目度）: 6.00637068979221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Under GRPO against a frozen, reference-free LLM judge, RL exploits the judge's false positives. Does the policy-judge capability gap or the judge itself set how fast and how far? We train 0.5B and 1.5B Qwen2.5 policies on GSM8K against four judges at least as large, and the 1.5B policy also against one smaller judge. In a post-hoc analysis, judge acceptance rose, but no cell of 12 gained more than 0.04 in seed-mean held-out greedy accuracy. A gold-reward control with the same recipe raised the 1.5B policy's accuracy by +0.054 (for the 0.5B policy, gold reward gave no detectable gain either). The depth of judge hacking tracks the judge: the plateau correlates with judge AUC (Spearman -0.69 over 12 cells), and within a family the larger judge is fooled less deeply. For the pace, two pre-specified pairs contradict the gap account: the cell with the larger gap was fooled 3.5x sooner at the pre-specified threshold. With 12 cells, however, we cannot formally separate judge AUC from the gap for either endpoint. A blind test of step-0 predictors on three held-out judges was inconclusive. At 7-8B, judges from three families plateaued between 0.37 and 0.85.
• Abstract（参考訳）: GRPO の下では、フリーフリーの LLM 判事に対して、RL は判事の偽陽性を悪用する。 政策判断能力のギャップや裁判官自身は、どの程度の速さと距離を定めていますか? 我々は、GSM8Kの0.5Bおよび1.5B Qwen2.5ポリシーを、少なくとも4人の裁判官に対して訓練し、1.5Bポリシーは、1人の小さな裁判官に対しても訓練する。 ポストホック分析では、審査員の受理率は上昇したが、シード平均のグリーディ精度で0.04以上の細胞は得られなかった。 同じレシピによるゴールドリワード制御により、1.5Bポリシーの精度は+0.054に向上した(0.5Bポリシーでは、金の報酬も検出可能な利得も得られなかった)。 裁判官のハッキングの深さは、裁判官を追跡し、高原は裁判官 AUC (Spearman -0.69 over 12 cell) と相関し、家族内では大きな裁判官はより深く騙される。 このペースでは、2つの事前特定されたペアがギャップアカウントに矛盾し、より大きなギャップを持つ細胞は予め特定された閾値で3.5倍早く騙された。 しかし、12個の細胞では、AUCをいずれのエンドポイントのギャップから正式に分離することはできない。 3人の審査員に対するステップ0予測器のブラインドテストは決定的ではなかった。 7-8Bの3家族の審査員は0.37から0.85の間だった。

関連論文リスト

• Pinned and Still Unstable: Within-Judge Verdict Variance and the Noise Floor of LLM-as-Judge Leaderboards [0.0]
  LLM評価は、審査員を固定されたモデルバージョンに固定し、温度ゼロで復号すると再現可能な判定が得られると仮定する。 この仮定は、LLM-as-Judgeがクラウドサービスインフラ上でどのように運用されているかという特性として失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-27T00:19:41Z)
• Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus [43.232837964609416]
  オープンウェイトとフロンティアLLMの双方の判定において,かなりの誤差相関が認められた。 比較の最大28%では、共有エラーを無視することは、1つのシステムの方がはるかに優れているという結論につながる。 評価精度を推定し,共有誤りを同定するために,信頼された少数の例を用いるという,単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2026-09-18T19:20:40Z)
• The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating [0.0]
  LLMの審査員の判断を最初のトークンのロジットから読み取ることは安価であり、生成を必要としない。 この読み出しは位置バイアスを1方向に歪め、テストするすべての条件でオーバーステートするので、この方法で得られた数値は上限として振る舞う。
  論文  参考訳（メタデータ） (2026-09-04T00:45:28Z)
• When the Judge Should Not Decide: Evidence-Locked, Non-Compensatory Selection Bounds LLM-Judge Failure in Reasoning Pipelines [4.0604823050005345]
  決定のコストは、審査員が組み込まれている決定規則よりも、判断精度にかかっていることが示される。 GRPOの4つの政策による凍結した候補プールについて、非拘束のスカラーのDeepSeek-R1-7B判事は、回答レベルの多数決でほとんど何も買わない。 次に、同じ裁判官を、タスク適応非補償規則であるEvidence-Locked DeriveGateGate (EL-DGR) に従属させる。
  論文  参考訳（メタデータ） (2026-08-07T23:23:00Z)
• More Convincing, Not More Correct: Self-Play Reward Hacking of Reference-Free LLM Judges [4.167333498582309]
  言語モデルをそれ自身の参照なし判断に対して訓練することは、モデルが答えの正しさを判断することを前提にしている。 候補者に条件付きで、裁判官は正当性ではなく妥当性をスコアし、政策が悪用することを学習する偽陽性の盆地を残す。
  論文  参考訳（メタデータ） (2026-07-07T06:59:30Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。