論文の概要: Audit Where Hacks Pay: Budgeted Strong-Verifier Audits Against Reward Hacking in GRPO

• arxiv url: http://arxiv.org/abs/2610.35716v1
• Date: Mon, 26 Oct 2026 16:38:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.112205
• Title: Audit Where Hacks Pay: Budgeted Strong-Verifier Audits Against Reward Hacking in GRPO
• Title（参考訳）: ハッキングの支払い先に関する監査:GRPOのリワードハッキングに対する強力な検証対象の監査
• Abstract要約: 我々は,GRPOにおける限定的な強力な検証予算の活用について検討する。 アドバンテージを中心にした固定されたポリシー状態においては、期待された更新は各ロールアウトの限界監査確率と修正によってのみ設計に依存する。 カウントダウンコードでは、2つのバイアスのない修正、2つの報酬レベルIPWとグループレベルのアドバンテージ修正がハックダウンをもたらすが、同じ予算でLBよりもホールドアウト精度が6.1-11.8と8.0-11.5ポイント低い。
• 参考スコア（独自算出の注目度）: 2.2444890325670905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards trains on cheap checks, such as unit tests, that a policy can learn to game, while a stronger check is too expensive to run on every rollout. We study how to spend a limited strong-verifier budget in GRPO, separating which weakly passing rollouts to audit from what reward a caught hack receives. At a fixed policy state with centered advantages, the expected update depends on a design only through each rollout's marginal audit probability and correction; reflecting a caught hack's reward about the failure reward negates the advantages of an all-hack group; and auditing whole groups with the fewest weak passes first (low-pass budgeted audits, LB) minimizes the advantage mass left on hacks among pass-count designs with a fixed correction when a label's value falls with the pass count. We tested this analysis in actual LLM training: from each run's starting state, the sign of this mass on a frozen panel predicted whether hacking would be suppressed in 33 of 39 runs, including 13 of 16 preregistered ones. In LeetCode (Wong et al., 2026) and Countdown-Code (Khalifa et al., 2026), LB drives hacking to near zero, while random audits with the same penalty and budget do not and use more labels. We also find that the randomness of the update affects training: in Countdown-Code, two unbiased corrections, per-item reward-level IPW and a group-level advantage correction, bring hacking down too but end 6.1-11.8 and 8.0-11.5 points lower in held-out accuracy than LB at the same budget. A full audit, which the group-level correction reproduces in expectation, stays within about two points of LB in three seeds, while LB uses 28% of its labels, and allocating the same correction by pass count recovers most of the loss (one seed). Training outcomes thus depend not only on the expected update but also on the randomness of its estimate.
• Abstract（参考訳）: 検証可能な報酬による強化学習は、単体テストのような安価なチェックでトレーニングし、ポリシーがゲームを学ぶことができる一方で、より強力なチェックはロールアウト毎に実行するには高くつく。 我々は、GRPOの限られた強力な検証予算をどう使うかを研究し、この予算は、ハックされたハッカーが受け取った報酬を監査するために、ロールアウトを弱く通過させる。 期待される更新は、ロールアウト毎の限界監査確率と修正のみによる設計に依存し、捕捉されたハックの報酬を反映して、全ハックグループの利点を否定し、最少の弱いグループ(低パス予算監査、LB)を監査することで、ラベルの値がパスカウントに一致する場合に、パスカウントのハックに残されるメリットを最小化する。 各ランの開始状態から、39ラン中33ランのうち16ランのうち13ランがハッキングを抑えるかどうかを予測した。 LeetCode (Wong et al , 2026)とCountdown-Code (Khalifa et al , 2026)では、LBはハッキングをほぼゼロにし、同じペナルティと予算を持つランダムな監査は、ラベルを使用しない。 カウントダウンコードでは、2つのバイアスのない修正、報酬レベル毎のIPWとグループレベルのアドバンテージ修正がハックダウンをもたらすが、同じ予算でLBよりもホールドアウト精度が6.1-11.8と8.0-11.5ポイント低い。 グループレベルの補正が期待通りに再現される完全な監査は、LBの約2ポイント内3つのシードに留まり、LBはラベルの28%を使用し、パスカウントによる同じ補正は損失の大半(1つのシード)を回復させる。 したがって、トレーニングの結果は、予想される更新だけでなく、見積のランダム性にも依存する。

関連論文リスト

• CATCH: A Controllable Analysis Testbed for Reward Hacking in Coding RL [34.428671660967346]
  CATCHは、RLコーディングにおける報酬ハッキングを研究するための制御可能なテストベッドである。 弱い評価器の下での成功と、独立した監査下でのタスクの正しさを比較することで、実行ベースのゴールドラベルを提供する。 実験により、CATCHは、明確な報酬ハックによる多様なRLトレーニングトラジェクトリを作成できることが示された。
  論文  参考訳（メタデータ） (2026-09-30T11:36:30Z)
• Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL [11.857468467125505]
  トレーニング中に2つのスコアが分岐していることが分かりました。 一定のバイアスを持つ審査員は、トレーニングスコアが上昇している間に、金の曲線を一定にシフトさせる。 我々は、ニューロンのドロップアウトから借りた1行の修正であるDropoutを提案する。
  論文  参考訳（メタデータ） (2026-08-12T05:29:21Z)
• Multimodal Reward Hacking in Reinforcement Learning [25.776239829876065]
  強化学習(RL)は多モーダル大言語モデル(MLLM)の整合化に益々用いられている。 安全VQA,チャートVQA,ストレステスト設定のMLLM RLにおける報酬ハッキングについて検討した。 本稿では,代行報酬が向上するサンプル間の障害を測定するNRFR(Newly Rewarded Failure Rate)を紹介する。
  論文  参考訳（メタデータ） (2026-07-10T15:06:48Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Rollout Pass-Rate Control: Steering Binary-Reward RL Toward Its Most Informative Regime [28.346931878148524]
  Prefix Sampling (PS)は、自己生成した軌跡の接頭辞を再生し、スキュードグループをこの体制に向けて操る。 PSは評価変数のベースラインのハイスコア状態に達し、2.01xと1.55xのエンドツーエンドのウォールクロックスピードアップを提供する。 AIME 2025は4Bと8Bで同じパスレート制御パターンを示した。
  論文  参考訳（メタデータ） (2026-05-06T16:44:38Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。