論文の概要: Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap

• arxiv url: http://arxiv.org/abs/2610.15778v1
• Date: Sun, 11 Oct 2026 17:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.247658
• Title: Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap
• Title（参考訳）: 判事のハッキングのペースを誰が決める? 判事の能力と政策判断のギャップ
• Abstract要約: ポストホック解析では, フリーフリーのLCM判定器に対して, ホールドアウトのグリーディ精度の上昇は検出されなかった。 同じレシピによるゴールドリワード制御により、1.5Bポリシーのグリーディ精度は+0.054[0.013, 0.096]上昇した。 私たちがチェックした4つの上昇する細胞では、トレーニングロールアウトの精度の早期上昇は、金の報酬の下にあるため、ほとんどの場合、シャープニングをサンプリングする。
• 参考スコア（独自算出の注目度）: 6.00637068979221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a policy is trained with GRPO against a frozen, reference-free LLM judge, the judge accepts more of its answers, but in a post-hoc analysis we detect no gain in held-out greedy accuracy: in all 12 (policy, judge) cells, the seed-mean gain never exceeded 0.04. A gold-reward control with the same recipe raised the 1.5B policy's greedy accuracy by +0.054 [0.013, 0.096], so for this policy the flat accuracy is specific to the judge reward; for the 0.5B policy, gold reward also gave no detectable gain. In the four rising cells we checked, the early rise in training-rollout accuracy is mostly sampling sharpening, as it is under gold reward. We then ask whether the policy-judge gap or the judge sets how far and how fast RL exploits the judge's false positives. We train 0.5B and 1.5B Qwen2.5 policies against four judges at least as large (Qwen2.5-1.5B/3B/7B, Llama-3.2-3B) and the 1.5B policy against one smaller judge (Qwen3-0.6B). The depth of judge hacking (the plateau) tracks the judge: it correlates with judge AUC (Spearman -0.69 [-0.94, -0.14] over 12 cells), and within a family the larger judge is fooled less deeply. For the pace (onset), two pre-specified pairs contradict the gap account (the larger-gap cell was fooled 3.5x sooner at the pre-specified threshold). With 12 cells we cannot formally separate judge AUC from the gap for either endpoint. The smaller judge was not fooled sooner than a judge as large as the policy, though it also differs in family and template. In a blind test on three held-out judges, a hash-locked step-0 predictor did not beat step-0 AUC, but three cells cannot separate them. At 7-8B, judges from three families plateaued at 0.37, 0.67 and 0.85.
• Abstract（参考訳）: GRPO でフリーフリーの LLM 判事に対して政策を訓練すると、裁判官はその回答を多く受け入れるが、ポストホック分析では、保留中のグリーディの精度は見つからない:すべての 12 個の細胞において、シード平均ゲインは 0.04 を超えなかった。 同じレシピによるゴールドリワード制御は1.5Bポリシーのグリーディ精度を+0.054[0.013, 0.096]引き上げたので、このポリシーでは、フラットな精度は審査員の報酬に特有であり、0.5Bポリシーでは金報酬も検出可能な利得を与えなかった。 私たちがチェックした4つの上昇する細胞では、トレーニングロールアウトの精度の早期上昇は、金の報酬の下にあるため、ほとんどの場合、シャープニングをサンプリングする。 次に、政策判断ギャップまたは裁判官が、RLが裁判官の偽陽性をどの程度の速さで悪用するかを問う。 我々は、少なくとも4人の裁判官(Qwen2.5-1.5B/3B/7B、Llama-3.2-3B)に対して0.5Bと1.5B Qwen2.5ポリシーを訓練し、1人の小さな裁判官(Qwen3-0.6B)に対して1.5Bポリシーを訓練する。 裁判官のハッキングの深さ(台地)は、裁判官を追跡する: 裁判官 AUC (Spearman -0.69 [-0.94, -0.14]) と12の細胞で相関し、家族内では、より大きな裁判官はより深く騙される。 ペース(オンセット)については、2つの事前特定されたペアがギャップアカウントに矛盾する(より大きなギャップセルは予め特定された閾値で3.5倍早く騙された)。 12の細胞では、どちらのエンドポイントのギャップからAUCを正式に分離することはできない。 より小さな判事は、政策ほど大きな判事よりも早く騙されることはなかったが、家族やテンプレートでも異なる。 3人の審査員のブラインドテストでは、ハッシュロックされたステップ0予測器がステップ0AUCを破ることはなかったが、3つの細胞はそれらを分離することができなかった。 7-8Bの3家族の審査員は0.37、0.67、0.85だった。

関連論文リスト

• Pinned and Still Unstable: Within-Judge Verdict Variance and the Noise Floor of LLM-as-Judge Leaderboards [0.0]
  LLM評価は、審査員を固定されたモデルバージョンに固定し、温度ゼロで復号すると再現可能な判定が得られると仮定する。 この仮定は、LLM-as-Judgeがクラウドサービスインフラ上でどのように運用されているかという特性として失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-27T00:19:41Z)
• Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus [43.232837964609416]
  オープンウェイトとフロンティアLLMの双方の判定において,かなりの誤差相関が認められた。 比較の最大28%では、共有エラーを無視することは、1つのシステムの方がはるかに優れているという結論につながる。 評価精度を推定し,共有誤りを同定するために,信頼された少数の例を用いるという,単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2026-09-18T19:20:40Z)
• The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating [0.0]
  LLMの審査員の判断を最初のトークンのロジットから読み取ることは安価であり、生成を必要としない。 この読み出しは位置バイアスを1方向に歪め、テストするすべての条件でオーバーステートするので、この方法で得られた数値は上限として振る舞う。
  論文  参考訳（メタデータ） (2026-09-04T00:45:28Z)
• When the Judge Should Not Decide: Evidence-Locked, Non-Compensatory Selection Bounds LLM-Judge Failure in Reasoning Pipelines [4.0604823050005345]
  決定のコストは、審査員が組み込まれている決定規則よりも、判断精度にかかっていることが示される。 GRPOの4つの政策による凍結した候補プールについて、非拘束のスカラーのDeepSeek-R1-7B判事は、回答レベルの多数決でほとんど何も買わない。 次に、同じ裁判官を、タスク適応非補償規則であるEvidence-Locked DeriveGateGate (EL-DGR) に従属させる。
  論文  参考訳（メタデータ） (2026-08-07T23:23:00Z)
• More Convincing, Not More Correct: Self-Play Reward Hacking of Reference-Free LLM Judges [4.167333498582309]
  言語モデルをそれ自身の参照なし判断に対して訓練することは、モデルが答えの正しさを判断することを前提にしている。 候補者に条件付きで、裁判官は正当性ではなく妥当性をスコアし、政策が悪用することを学習する偽陽性の盆地を残す。
  論文  参考訳（メタデータ） (2026-07-07T06:59:30Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。