論文の概要: RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution

• arxiv url: http://arxiv.org/abs/2610.15772v1
• Date: Sun, 11 Oct 2026 16:54:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 16:43:25.214589
• Title: RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution
• Title（参考訳）: RSIPO: スキルポリティ共進化によるエージェント強化学習のための再帰的自己改善政策最適化
• Abstract要約: 本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
• 参考スコア（独自算出の注目度）: 77.88178178061172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent focus in agentic reinforcement learning (RL) seeks to improve credit assignment in long-horizon tasks. One promising direction combines reinforcement learning with verifiable rewards (RLVR) and on-policy self-distillation (OPSD), integrating trajectory-level advantages with dense token-level supervision. This line of work often conditions a teacher model on privileged context, such as agentic skills, to score tokens generated by the student policy. Despite their progress, they largely overlook the on-policy evolution of agentic skills and the reliability of teacher supervision. Towards this end, we introduce Recursive Self-Improving Policy Optimization (RSIPO), a self-evolving agentic RL framework that enables agentic skills and the policy model to co-evolve throughout the training process. Specifically, RSIPO enables the policy itself to extract skills from completed trajectories and explicitly optimizes its skill-generation capability through trajectory replay. It further employs empirical Bayes shrinkage to dynamically calibrate the student's trust in teacher scores, accounting for the fact that skill-enhanced teacher guidance can sometimes be less reliable. Experiments with Qwen-family models on embodied interaction and search-based agentic tasks demonstrate that RSIPO outperforms all the compared baseline approaches. With Qwen2.5-7B as the base model, RSIPO achieves an average success rate of 98.6\% on ALFWorld, yielding absolute improvements of 2.5\% and 17.4\% over the second-best baseline and standard GRPO, respectively.
• Abstract（参考訳）: エージェント強化学習(RL)における近年の焦点は、長期的タスクにおけるクレジット割り当てを改善することである。 1つの有望な方向は、強化学習と検証可能な報酬(RLVR)と、高密度トークンレベルの監督とトラジェクトリレベルのアドバンテージを統合した、オンライン自己蒸留(OPSD)を組み合わせることである。 この研究の行は、しばしば、エージェントスキルのような特権的な文脈の教師モデルに、学生のポリシーによって生成されるトークンをスコアするために要求する。 彼らの進歩にもかかわらず、彼らは主に、エージェントスキルの政治上の進化と教師の監督の信頼性を見落としている。 この目的に向けて、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークであるRSIPO(Recursive Self-Improving Policy Optimization)を導入する。 具体的には、RSIPOは、ポリシー自体が完成した軌跡からスキルを抽出し、軌跡再生を通じてそのスキル生成能力を明示的に最適化することを可能にする。 さらに、経験的なベイズ収縮を利用して、生徒の教師のスコアに対する信頼を動的に調整し、熟練した教師指導が信頼性の低い場合もあるという事実を考慮に入れている。 インボディードインタラクションとサーチベースのエージェントタスクに関するQwenファミリーモデルによる実験は、RSIPOが比較したベースラインアプローチよりも優れていることを示した。 Qwen2.5-7B をベースモデルとし、RSIPO は ALFWorld の平均成功率 98.6\% を達成し、それぞれ第2ベットベースラインと標準GRPO に対して 2.5\% と 17.4\% を絶対的に改善した。

関連論文リスト

• Latent On-Policy Self-Distillation [55.57800223145407]
  On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。 既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。 本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-08-13T10:05:51Z)
• Group-Reflective Self-Distillation for Agentic Reinforcement Learning [8.041052886037766]
  GRSD(Group-Reflective Self-Distillation)は、政策が検証したロールアウトから、能力の整合性と結果の差別的なガイダンスを導出する。 GRSDは競争ベースラインを一貫して上回り、目に見えないタスクをより効果的に一般化する。
  論文  参考訳（メタデータ） (2026-07-30T11:49:46Z)
• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL [24.65745354725497]
  本稿では,RL-in-the-loopスキル作成フレームワークであるReSkillを紹介する。 ReSkillはGRPOの群構造を利用して、3つのメカニズムを埋め込む。 いくつかのドメインで、ReSkillは既存のメモリとスキルベースのRLメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-01T03:12:05Z)
• Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
  自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。 SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-14T17:51:26Z)
• Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
  Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。 オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
  論文  参考訳（メタデータ） (2026-05-10T06:19:15Z)
• SEEA-R1: Tree-Structured Reinforcement Fine-Tuning for Self-Evolving Embodied Agents [58.174206358223415]
  自己進化型エボダイドエージェント(SeEA-R1)は、自己進化型エボダイドエージェント用に設計された最初の強化微細調整フレームワークである。 本研究は,SEEA-R1が自律適応と報酬駆動型自己進化をサポートすることを示す。
  論文  参考訳（メタデータ） (2025-06-26T18:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。