論文の概要: Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following

• arxiv url: http://arxiv.org/abs/2610.19525v1
• Date: Wed, 14 Oct 2026 03:42:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.941732
• Title: Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following
• Title（参考訳）: 確実なインストラクション後におけるReward Hackingの診断と修正
• Abstract要約: We show that frontier models can receive full credit for response with little substantive answer content。 トレーニング報酬として同一の検証者ベースの基準を使用することで、報酬のハッキングを誘発することができる。 本稿では、検証者報酬を校正確率に基づくボーナスで強化する軽量な方法であるCALIFを紹介する。
• 参考スコア（独自算出の注目度）: 15.95074422765088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verifiable instruction-following benchmarks emphasize output-constraint satisfaction but can overlook whether responses meaningfully answer the underlying request, creating an evaluation blind spot. We show that frontier models can receive full credit for responses with little substantive answer content. Using the same verifier-based criterion as a training reward can induce reward hacking, as publicly released checkpoints exhibit higher constraint satisfaction but lower response quality after reinforcement learning with verifiable rewards. To address this reward hacking, we introduce CALIF, a lightweight method that augments verifier rewards with a calibrated likelihood-based bonus to preserve response quality. CALIF evaluates response likelihood under the request alone using the existing frozen reference policy, requiring no additional judge or learned reward model. Across models ranging from 1.7B to 8B in reasoning and non-reasoning modes, CALIF improves constraint satisfaction on IFBench while maintaining response quality near or above pre-RL levels. It also outperforms corresponding base policies in 40 of 45 model-metric comparisons across three rubric-based instruction-following benchmarks, demonstrating gains beyond training verifiers.
• Abstract（参考訳）: 検証可能な命令追従ベンチマークは、出力制約の満足度を強調するが、応答が基礎となる要求に有意に応答するかどうかを見落とし、評価盲点を生み出すことができる。 We show that frontier models can receive full credit for response with little substantive answer content。 トレーニング報酬として同一の検証器ベースの基準を用いることで、公開チェックポイントはより高い制約満足度を示すが、検証可能な報酬を伴う強化学習後の応答品質が低下するため、報酬ハッキングを誘発することができる。 この報奨ハックに対処するために,検証者報酬を校正された確率に基づくボーナスで強化し,応答品質を維持する軽量な方法であるCALIFを紹介した。 CALIFは、既存の凍結参照ポリシーを使用して、要求のみで応答可能性を評価し、追加の判断や学習報酬モデルを必要としない。 推論および非推論モードにおける1.7Bから8Bまでのモデル全体で、CALIFはIFBenchの制約満足度を改善しつつ、RL前後の応答品質を維持している。 また、3つのルーブリックベースの命令追従ベンチマークにおいて、45のモデルメトリック比較のうち40のベースポリシーよりも優れており、トレーニング検証以上の利得を示している。

関連論文リスト

• Discretizing Reward Models [70.71071807050916]
  多くの人気報酬モデルが過敏であり、異なるスコアを等しく良い応答に割り当てていることを示す。 我々は「識別能力」と「特異性」の尺度を用いた報酬モデルの評価を提案する。
  論文  参考訳（メタデータ） (2026-06-19T23:13:59Z)
• QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
  クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
  論文  参考訳（メタデータ） (2026-06-02T17:53:04Z)
• Prompt-Level Reward Specifications for Open-Ended Post-Training [43.215398565987265]
  訓練後のオープンエンドのメリットは、迅速な成功条件を明確にする報酬である。 本稿では、報酬仕様と報酬仕様を分離するプロンプトレベル報酬仕様フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-28T02:52:06Z)
• Focal Reward: Balanced Reinforcement Learning under Rubric-Based Rewards [41.19082300691048]
  本稿では,ルーリック型報酬による強化学習の訓練のバランスをとるための新しい目的であるFocal Rewardを提案する。 3つのモデルスケールと6つのベンチマーク実験により、Focal Reward法が最強の静的アグリゲーションベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-05-26T05:50:46Z)
• Reward Hacking in Rubric-Based Reinforcement Learning [23.418394508756464]
  そこでは,ルールをトレーニング検証器に対して最適化するが,フロンティアの3人の審査員の家族間パネルに対して評価を行う。 我々のフレームワークは、検証失敗とルーブリック設計の制限という2つの違いの源を分離している。 医学領域と科学領域全体において、弱い検証器は参照検証器に転送されない大きなプロキシ・リワードゲインを生成する。
  論文  参考訳（メタデータ） (2026-05-12T17:54:25Z)
• Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
  HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。 HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
  論文  参考訳（メタデータ） (2025-10-08T17:09:41Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• Information-Theoretic Reward Decomposition for Generalizable RLHF [51.550547285296794]
  我々は報酬値を2つの独立したコンポーネントに分解する。 提案手法は,データサンプルを不利な報酬値に基づいて優先順位付けすることで,新たな報酬学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-08T13:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。