論文の概要: From Imitation to Reward Discovery: On-Policy Warmup for Agentic RL

• arxiv url: http://arxiv.org/abs/2609.39436v1
• Date: Wed, 30 Sep 2026 10:13:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.567391
• Title: From Imitation to Reward Discovery: On-Policy Warmup for Agentic RL
• Title（参考訳）: シミュレーションからリワードディスカバリへ:エージェントRLのオン・ポリシィ・ウォームアップ
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、言語モデルエージェントのトレーニングにスケーラブルなアプローチを提供する。 本研究は,教師が教師を指導し,教師との交流の軌跡を学習する教育指導段階である,オンライン・ウォームアップ(OPW)について考察する。
• 参考スコア（独自算出の注目度）: 31.97279969214853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with a verifiable reward (RLVR) offers a scalable approach to training language-model agents, yet sparse outcome rewards can leave early training with little signal for policy improvement. We identify an On-Policy Acceleration Phenomenon: in our main comparisons, RLVR initialized with on-policy distillation reaches high performance earlier in training and achieves both higher average performance during subsequent RLVR and higher final performance than the alternative baselines. Motivated by this observation, we study On-Policy Warmup (OPW), a teacher-guided stage in which the student trains with teacher supervision on its own interaction trajectories before transitioning to RLVR. Unlike imitation on fixed teacher-generated trajectories, OPW targets states induced by the student's own decisions, including imperfect actions and recovery situations. We provide a theoretical explanation by connecting on-policy reverse-KL distillation to trajectory-level distribution matching. Under a competent teacher and sufficiently small population distillation loss, this connection yields a lower bound on initial verifier success and a corresponding bound on reward-discovery complexity. For group-relative RLVR, we further characterize when increased success probability produces more reward-informative groups. Together, our findings support on-policy distillation as an effective warmup for agentic RLVR and identify initial reward discovery as a mechanism that can contribute to the observed acceleration.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、言語モデルエージェントのトレーニングにスケーラブルなアプローチを提供するが、少ない結果報酬は、政策改善のシグナルをほとんど残さずに早期トレーニングを離れる可能性がある。 主な比較では, オンライン蒸留で初期化したRLVRは, トレーニングの早い段階で高い性能を達成し, その後のRLVRにおける高い平均性能と, 代替ベースラインよりも高い最終性能を達成する。 本研究の目的は,教師が教師と教師の交流を指導し,RLVRに移行した上で,教師が教師と教師の交流を指導するオン・ポリシィ・ウォームアップ(OPW)を学習することである。 固定された教師生成軌道の模倣とは異なり、OPWは学生自身の判断によって引き起こされる状態(不完全な行動や回復状況など)をターゲットにしている。 我々は, オンライン逆KL蒸留を軌道レベルの分布マッチングに接続することで理論的説明を行う。 有能な教師と十分な人口の蒸留損失の下で、この接続は初期検証器の成功とそれに対応する報酬発見複雑性の限界を低くする。 グループ相対的RLVRでは、成功確率の増加がより多くの報酬形群を生み出すとさらに特徴付けられる。 本研究は, エージェントRLVRの有効ウォームアップとしてのオンライン蒸留を支援し, 初期報酬発見を, 観察された加速に寄与するメカニズムとして同定した。

関連論文リスト

• TIDE: Teacher-Student Transition via Informative Distillation and Exploration for Agentic RL [2.368125721547952]
  マルチターンエージェントは、長い地平線上での情報収集、行動、フィードバックを調整する戦略を必要とする。 オンライン蒸留(OPD)によりRLを増強する最近の方法 潮流は教師の指導と報奨による更新を共同で調整する。
  論文  参考訳（メタデータ） (2026-09-28T12:51:48Z)
• Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation [41.854144563456046]
  弱強一般化は、より弱いスーパーバイザーからより強力なモデルを学び、それらを上回ることができるかどうかを問う。 本稿では,教師の政策シフトを評価し,学生の検証者主導の政策勾配を増幅するOn-Policy Reverse Distillationを紹介する。 連続したモデル転送とマルチティーチンガー蒸留の両方において、OPRDは既存のRLや蒸留手法よりも学生更新が少なく、極めて高い性能を達成している。
  論文  参考訳（メタデータ） (2026-09-08T14:26:35Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• PACR: Progressively Ascending Confidence Reward for LLM Reasoning [55.06373646059141]
  我々は、PACR(Progressive Ascending Confidence Reward)を提案する。 PACRは、正解に対するモデルの進化的信念から直接計算された、密集したモデル固有の報酬である。 以上の結果から,RLVRトレーニングはより効果的で信頼性が高いことが示唆された。
  論文  参考訳（メタデータ） (2025-10-25T11:25:35Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。