論文の概要: Where the Model Changes Its Mind: Hindsight-Divergence Localization for Efficient Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2609.36864v1
• Date: Tue, 29 Sep 2026 07:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.255939
• Title: Where the Model Changes Its Mind: Hindsight-Divergence Localization for Efficient Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: モデルが心を変える場所: 検証可能なリワードを用いた効率的な強化学習のための隠れた多元的ローカライゼーション
• Abstract要約: 検証可能な報酬を伴う強化学習のためのグループ相対的手法は、ロールアウト結果の違いから学習する。 本稿では,トークンログ類似度の変化を分岐点の選択に用いたHDL(Hindsight-Divergence Localization)を提案する。 数学、コード、エージェントタスクの3つのモデルによる実験では、ロールアウト効率とタスクパフォーマンスの両方が向上している。
• 参考スコア（独自算出の注目度）: 18.529450184444972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group-relative methods for reinforcement learning with verifiable rewards (RLVR) learn from differences in rollout outcomes. Independently sampling complete trajectories is costly and does not explicitly explore the decision space at critical positions. Feedback on a completed trajectory can reveal which earlier choices the policy reconsiders, suggesting where to sample alternative continuations. We introduce Hindsight-Divergence Localization (HDL), which uses hindsight-induced changes in token log-likelihoods to select branch points. HDL generates a small number of complete root trajectories and fills each training group with continuations from the selected positions under the original task context. Each continuation reuses its root prefix and contributes policy updates only through its newly generated suffix, reducing generation cost while focusing additional exploration and learning on decisions after branching. Experiments with three models across math, code, and agent tasks show gains in both rollout efficiency and task performance. Compared with GRPO at matched group sizes and training steps, HDL yields up to a 2.5$\times$ reduction in generated tokens and a 1.8$\times$ speedup in rollout wall-clock time. Despite this reduced generation budget, HDL improves performance across all three domains, with gains of up to 12.5 points on agent tasks.
• Abstract（参考訳）: 検証可能な報酬(RLVR)を用いた強化学習のためのグループ相対的手法は、ロールアウト結果の違いから学習する。 独立して完全な軌道をサンプリングすることは費用がかかり、決定空間を決定的位置で明示的に探索することはない。 完了した軌道に対するフィードバックは、どの政策の再検討者を選ぶかを明らかにすることができ、代替の継続をどこでサンプリングするかを示唆する。 本稿では, トークンログ類似度の変化による分岐点の選択を行うHDL(Hindsight-Divergence Localization)を提案する。 HDLは、少数の完全なルート軌跡を生成し、元のタスクコンテキストの下で選択された位置から連続して各トレーニンググループを満たす。 それぞれの継続はルートプレフィックスを再利用し、新しく生成された接尾辞を通じてのみポリシー更新を提供し、分岐後の決定についてさらなる探索と学習を集中しながら、生成コストを低減します。 数学、コード、エージェントタスクの3つのモデルによる実験では、ロールアウト効率とタスクパフォーマンスの両方が向上している。 一致したグループサイズとトレーニングステップでGRPOと比較すると、HDLは生成トークンの2.5$\times$削減とロールアウトウォールタイムでの1.8$\times$スピードアップを得られる。 この生成予算の削減にもかかわらず、HDLは3つのドメインすべてでパフォーマンスを改善し、エージェントタスクで最大12.5ポイント向上する。

関連論文リスト

• Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning [23.987185167160117]
  可変ガイドオンラインロールアウトアロケーション(VIGOR) 可変ガイドオンラインロールアウトアロケーション(VIGOR) 可変ガイドオンラインロールアウトアロケーション(VIGOR)
  論文  参考訳（メタデータ） (2026-07-24T06:04:04Z)
• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• R$^3$L: Reflect-then-Retry Reinforcement Learning with Language-Guided Exploration, Pivotal Credit, and Positive Amplification [44.99719889905381]
  強化学習は推論とエージェント能力の最近の進歩を促進するが、現在のアプローチは探索と搾取の両方で苦労している。 本稿では,R$3$L,Reflection-then-Retry Reinforcement Learning with Language-Guided Exploration,Pivotal Credit,Positive Amplificationを提案する。 エージェントおよび推論タスクの実験は、トレーニング安定性を維持しながら、ベースラインよりも5%から52%改善したことを示している。
  論文  参考訳（メタデータ） (2026-01-07T09:04:52Z)
• Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards [48.321707628011005]
  Lookahead Tree-Based Rollouts (LATR) は、軌道レベルの多様性を明確に促進するために設計された新しいロールアウト戦略である。 LATRはポリシー学習を平均で131%加速し、最終パス@1パフォーマンスを4.2%向上させる。
  論文  参考訳（メタデータ） (2025-10-28T11:12:02Z)
• Knapsack RL: Unlocking Exploration of LLMs via Optimizing Budget Allocation [40.30643197563909]
  大規模言語モデル(LLM)は強化学習を通じて自己改善が可能で、より良いソリューションを探求し発見するための軌道を生成する。 この探索プロセスは計算コストが高く、しばしば現在の手法では各タスクに限られた探査予算を割り当てざるを得ない。 本稿では,モデルの現在の学習状況に基づいて資源を適応的に分配する最適割当てルールを提案する。
  論文  参考訳（メタデータ） (2025-09-30T06:41:57Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。