論文の概要: Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits

• arxiv url: http://arxiv.org/abs/2610.13438v2
• Date: Mon, 12 Oct 2026 03:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.953481
• Title: Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits
• Title（参考訳）: ロールアウト・タイム・インターベンション:政策限界を超えたエージェント強化学習を解き放つ
• Abstract要約: ロールアウト・タイム・インターベンション(英: Rollout-Time Intervention、RTI)は、政策の本質的な探査能力を超えて軌道を成功させる技術である。 RTIは、ロールアウト中に報酬側エビデンス(すなわち評価ルーブリック)を活用して、誤った軌道を成功したものに変換する。
• 参考スコア（独自算出の注目度）: 39.73953349941745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has emerged as a key paradigm for improving large language model (LLM) agents, enabling stronger reasoning, planning, and tool-use in interactive environments. However, existing agent RL methods remain fundamentally constrained by an on-policy reasoning bottleneck: when tasks exceed the model's current capability boundary, effective trajectories become extremely sparse and training often collapses. We introduce Rollout-Time Intervention (RTI), a technique designed to elicit successful trajectories beyond the policy's intrinsic exploration capacity. RTI operates by leveraging reward-side evidence (i.e., evaluation rubrics) during rollout to convert erroneous trajectories into successful ones, providing effective learning signals for tasks that the policy rarely solves on its own. Although intervention trajectories are inherently off-policy, we find that they can effectively guide policy optimization when trajectories with excessive distributional shifts are filtered out. Extensive experiments across five benchmarks demonstrate that RTI consistently outperforms RL baselines, enabling the post-trained policy to approach the performance of substantially stronger contemporary LLMs and, more importantly, transcend its original capability boundary. The code is available at https://github.com/Alibaba-NLP/qqr.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)エージェントを改善するための重要なパラダイムとして登場し、対話型環境においてより強力な推論、計画、ツール使用を可能にする。 しかしながら、既存のエージェントRLメソッドは、現在の能力境界を超えるタスクが、非常にスパースになり、しばしばトレーニングが崩壊するという、政治上の推論ボトルネックによって、基本的に制約されるままである。 本稿では,RTI(Rollout-Time Intervention)について紹介する。 RTIは、ロールアウト中に報酬側エビデンス(すなわち評価ルーブリック)を活用して、誤った軌道を成功したものに変換し、ポリシーが未解決なタスクに対して効果的な学習信号を提供する。 介入トラジェクトリは本質的には非政治的だが,過度な分散シフトを伴うトラジェクトリをフィルタリングすると,政策最適化を効果的に導くことができる。 5つのベンチマークにわたる大規模な実験により、RTIはRLベースラインを一貫して上回り、訓練後の政策がより強力な現代のLLMの性能に近づき、さらに重要なことに、その本来の能力境界を超越することを可能にした。 コードはhttps://github.com/Alibaba-NLP/qqr.comで公開されている。

関連論文リスト

• MInTRL: Off-policy Intervention can boost On-policy RL [11.159528979089224]
  検証可能な報酬を伴う強化学習は通常、政治上で行われる。 教師付き微調整のようなオフ政治手法は、ベースモデルの能力を超えた外部の知識を活用することができる。 MInTRL(Minimmal Intervention Reinforcement Learning)を導入する。
  論文  参考訳（メタデータ） (2026-09-11T04:13:32Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
  既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。 マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T03:31:46Z)
• LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation [7.054214377609925]
  強化学習(RL)は、様々な領域で顕著な成功を収めている。 複雑なタスクに対する効果的なポリシーの訓練は依然として難しい。 既存のトレーニングボトルネックを軽減するアプローチは、2つのカテゴリに分類される。
  論文  参考訳（メタデータ） (2025-05-27T03:40:02Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Efficient Deep Reinforcement Learning via Adaptive Policy Transfer [50.51637231309424]
  強化学習(RL)を促進するための政策伝達フレームワーク(PTF)の提案 我々のフレームワークは、いつ、いつ、どのソースポリシーがターゲットポリシーの再利用に最適なのか、いつそれを終了するかを学習する。 実験結果から,学習過程を著しく加速し,最先端の政策伝達手法を超越していることが判明した。
  論文  参考訳（メタデータ） (2020-02-19T07:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。