論文の概要: Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL

• arxiv url: http://arxiv.org/abs/2610.33512v1
• Date: Sat, 24 Oct 2026 07:43:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.349275
• Title: Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL
• Title（参考訳）: 正確に食べる: 精密な目的は、ルーブリックのRLでリワードハックを緩和する
• Abstract要約: FORK報酬は、ルーリック駆動の必須クレジットと事実的正確度グレーダによって測定されるように、モデル応答の各ユニットが必要かつ事実的に正しいことを要求する。 元のリコールベースの報酬と比較して、FORTKは精度を大幅に向上し、応答長を減少させる。
• 参考スコア（独自算出の注目度）: 44.85606715402591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubric-based rewards enable effective reinforcement learning on non-verifiable tasks. However, because these rewards are typically defined as a weighted measure of rubric coverage, models are trained primarily to maximize a recall objective. As a result, RL-trained models produce responses that are more complete but also more verbose and contain more unnecessary or factually incorrect content, leading them to be less preferred than responses from the base model. To address this issue, we present the FORK reward, which jointly optimizes recall and a novel precision objective, which requires each unit of a model response to be both necessary and factually correct, as measured by rubric-driven necessity credits and a factual-correctness grader, respectively. Our experimental results show that FORK outperforms existing rubric-based RL methods and achieves Pareto-optimal performance that balances rubric coverage and overall response quality. Compared to the original recall-based reward, FORK substantially improves precision and reduces response length while achieving similar rubric coverage, which leads to significantly higher win rate compared to the base policy (e.g., from 10.6% to 68.0% on RubricHub-Medical and from 22.1% to 74.1% on HealthBench).
• Abstract（参考訳）: ルーブリックベースの報酬は、検証不可能なタスクに対する効果的な強化学習を可能にする。 しかしながら、これらの報酬は典型的には重み付けされたルーリックカバレッジの尺度として定義されるため、モデルは主にリコールの目的を最大化するために訓練される。 結果として、RL訓練されたモデルは、より完全だがより冗長で、不必要または事実的に誤った内容を含む応答を生成し、ベースモデルからの応答よりも優先されなくなる。 この課題に対処するために, モデル応答の各単位が, ルーリック駆動の必要条件クレジットと, 事実的正確度グレーダで測定されるように, 必要かつ現実的に正しいことを要求されるリコールと, 新たな精度目標を共同で最適化するFOCK報酬を提案する。 実験結果から,FORKは既存のルーリックベースRL法より優れ,パレート最適性能を向上し,ルーリックカバレッジと全体の応答品質のバランスがとれることがわかった。 元のリコールベースの報酬と比較して、FORTKは精度を大幅に向上し、類似のルーブリックカバレッジを達成しながら応答長を低減し、ベースポリシー(例えば、RubricHub-Medicalでは10.6%から68.0%、HealthBenchでは22.1%から74.1%)と比較して、かなり高い勝利率をもたらす。

関連論文リスト

• Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation [17.747513896854812]
  検証可能な報酬付き強化学習(RLVR)は、推論言語モデルのトレーニングにおいて大きな進歩をもたらした。 このミスマッチの実証的証拠を提示し、その結果の報奨ノイズが強化学習の不安定性に寄与すると仮定する。 本稿では,2次ロールアウト強化学習を提案する。各ロールアウト毎に,その推理トレースを切断し,複数のプレフィックスをサンプリングし,元の報酬を平均継続報酬に置き換える。
  論文  参考訳（メタデータ） (2026-10-12T11:16:32Z)
• Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals [75.25256166997414]
  本稿ではメタ認知に触発されたRLフレームワークであるメタ認知・アズ・リワード(MaR)を紹介する。 MaRは2つの一般的なプロセス次元を推論する。 MaRはモデル性能を継続的に改善し、ベースモデルよりも最大7.7%向上した。
  論文  参考訳（メタデータ） (2026-05-22T08:54:37Z)
• Reward-Conditioned Reinforcement Learning [56.417273471201845]
  Reward-Conditioned Reinforcement Learning (RCRL) は、報酬仕様のファミリーを最適化するために単一のエージェントを訓練するフレームワークである。 RCRLは、報酬パラメータ化のエージェントを条件付け、共有されたリプレイデータから複数の報酬目標を学習する。 その結果、RCRLはシングルタスクトレーニングの単純さを犠牲にすることなく、堅牢でステアブルなポリシを学習するためのスケーラブルなメカニズムを提供することを示した。
  論文  参考訳（メタデータ） (2026-03-05T11:29:17Z)
• Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models [108.26461635308796]
  Rationale Consistencyは、モデルの推論プロセスと人間の判断のアライメントを定量化する、きめ細かい計量である。 我々のフロンティアモデルの評価では,最先端モデル間で合理的な一貫性が効果的に識別できることが示されている。 我々は、GenRMトレーニングの合理性一貫性と結果精度を組み合わせたハイブリッド信号を導入する。
  論文  参考訳（メタデータ） (2026-02-04T15:24:52Z)
• RoRecomp: Enhancing Reasoning Efficiency via Rollout Response Recomposition in Reinforcement Learning [45.850748558862364]
  検証可能な報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)における複雑な推論を導くのに有効であることが証明された。 本稿では,学習データを戦略的に再コンパイルすることで,モデルから簡潔な推論へ導くプラグイン・アンド・プレイ手法であるRoRecompを提案する。
  論文  参考訳（メタデータ） (2025-09-30T08:54:38Z)
• SPARK: Synergistic Policy And Reward Co-Evolving Framework [84.22494672256894]
  我々は、RLVR上に構築された効率的でオン・ポリティクス、安定した手法であるSPARK(Synergistic Policy and Reward Co-Evolving Framework)を紹介する。 ロールアウトと正確性データを捨てる代わりに、SPARKはこの貴重な情報をリサイクルし、生成的報酬モデルとしてモデル自体をトレーニングする。 SPARK は複数の LLM モデルと LVLM モデル,および複数の推論,報酬モデル,一般ベンチマークにおいて,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-09-26T17:50:12Z)
• Self-Aligned Reward: Towards Effective and Efficient Reasoners [16.740993145927774]
  自己整合報酬 (Self-aligned reward, SAR) は、検証可能な報酬を補完し、推論精度と効率の両方を奨励する自己誘導信号である。 SARは, 正確さ, 正解スコアが冗長性よりも高く, 正解スコアが完全誤解よりも高いという, 解答品質を確実に区別することを示す。
  論文  参考訳（メタデータ） (2025-09-05T20:39:43Z)
• Learning to Reason for Factuality [48.08503522255537]
  本稿では,現実的精度,応答詳細度,応答関連度を同時に考慮した新たな報酬関数を提案する。 本モデルでは,幻覚率の平均値が23.1ポイント,回答詳細度が23%増加し,全体の応答効率が低下しない。
  論文  参考訳（メタデータ） (2025-08-07T17:57:09Z)
• Stable Reinforcement Learning for Efficient Reasoning [2.838966689544288]
  GRPO-$lambda$ は GRPO の効率的で安定な変種である。 正当率を監視して報酬戦略を動的に調整する。 平均精度は1.48%向上し、CoT配列の長さは47.3%削減された。
  論文  参考訳（メタデータ） (2025-05-23T16:43:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。