論文の概要: SERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.19397v1
- Date: Wed, 14 Oct 2026 01:46:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.889349
- Title: SERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learning
- Title（参考訳）: SERO: 長距離エージェント強化学習のための実行可能なOracle継続から学ぶ
- Abstract要約: textbfState-Rooted Executable Rollout Optimization (SERO)を導入する。
SEROは、現在のポリシーによって実際に到達した状態を復元し、トレーニング専用のオラクルが実際の環境と対話し続けるようにする。
我々は、Qwen2.5-1.5B-InstructとQwen2.5-7B-Instructを用いて、ALFWorldとWebShopという2つの挑戦的な対話型エージェントベンチマーク上でSEROを評価した。
- 参考スコア（独自算出の注目度）: 23.690420724512876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon agentic RL is constrained by the futures visited by the current policy. When rollouts fail to reach useful behaviors, improved credit assignment cannot provide supervision for states and actions that were never encountered. On-policy distillation (OPD) introduces teacher guidance on policy-induced states, and recent multi-turn variants improve how this guidance is scheduled, replayed, refined, or validated. However, they do not directly use the oracle-controlled future itself as the training trajectory. We introduce \textbf{State-Rooted Executable Rollout Optimization (SERO)}, which augments on-policy agentic RL with executable oracle continuations. SERO restores a state actually reached by the current policy and lets a training-only oracle continue interacting with the real environment, making the downstream observations and oracle actions themselves available for learning. It then applies \textbf{policy-reachability weighting}, which weights each oracle step by the frozen behavior policy's compatibility with the preceding oracle actions. This allows deeper supervision to become effective as the policy becomes more compatible with the oracle branch. The oracle loss is optimized separately from the base RL estimator and no oracle is used at inference time. We evaluate SERO on two challenging interactive-agent benchmarks, ALFWorld and WebShop, using Qwen2.5-1.5B-Instruct and Qwen2.5-7B-Instruct. On ALFWorld, learning the full executable continuation is substantially more effective than supervising only the root oracle action, while policy-reachability weighting further improves out-of-distribution performance.
- Abstract（参考訳）: ロングホライズンエージェントRLは、現在の政策が訪れた未来に制約される。
ロールアウトが有益な行動に届かない場合、改良されたクレジット割り当ては、遭遇したことのない状態や行動の監督を提供することはできない。
オンライン蒸留(OPD)は、政策によって引き起こされる状態に関する教師の指導を導入し、近年のマルチターン変種は、このガイダンスのスケジュール、再生、洗練、検証の方法を改善する。
しかし、彼らは神託制御された未来そのものを訓練の軌跡として直接使用していない。
本稿では, 実行可能オラクル継続により, 政治エージェントRLを増強する, SERO(textbf{State-Rooted Executable Rollout Optimization)を導入する。
SEROは、現在のポリシーによって実際に到達した状態を復元し、トレーニングのみのオラクルが実際の環境と対話し続け、下流の観察とオラクルのアクション自体を学習に利用できるようにする。
次に、 textbf{policy-reachability weighting} を適用する。これは、前のオラクルアクションと凍結行動ポリシーの互換性によって、各オラクルステップを重み付けする。
これにより、政策がオラクルブランチとの互換性を増すにつれて、より深い監督が効果的になる。
オラクル損失はベースRL推定器とは別個に最適化され、推論時にオラクルは使用されない。
我々は、Qwen2.5-1.5B-InstructとQwen2.5-7B-Instructを用いて、ALFWorldとWebShopという2つの挑戦的な対話型エージェントベンチマーク上でSEROを評価した。
ALFWorldでは、完全な実行可能継続学習は、ルートオラクルアクションのみを監督するよりも、はるかに効果的である。
関連論文リスト
- SkillLift: Learning Dense Rubrics from Sparse Oracles for Efficient Skill Evolution [2.429897021787139]
LLMをベースとしたエージェントは、再利用可能な手続き的プロンプトという永続的なスキルに依存して、重み付けをせずに適応するようになっている。
既存のスキル自己進化手法は、実行フィードバックに基づいて、スキルテキストを直接修正するが、各オラクル評価には完全なエージェントロールアウトが必要である。
SkillLiftを提案する。これは、オラクルの整列したルーリックを構造化評価空間として学習することで、オラクルのコストからスキル検索を分離するものである。
複雑なエージェントタスクベンチマーク実験により,提案手法は,フロンティア進化手法と比較して,トークンコストを40～70%低減した既存のオートスキル手法よりも優れていた。
論文 参考訳（メタデータ） (2026-09-14T11:30:23Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - GAPD: Gold-Action Policy Distillation for Agentic Reinforcement Learning in Knowledge Base Question Answering [64.23115520219609]
結果に基づくRLに高密度トークンレベルガイダンスを付加する訓練時間金反応政策蒸留フレームワークを提案する。
GAPDはWebQSP、GrailQA、GraphQの最先端技術に一貫して勝っている。
論文 参考訳（メタデータ） (2026-05-28T08:28:10Z) - Harnessing LLM Agents with Skill Programs [58.356514745548026]
HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。
PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。
HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
論文 参考訳（メタデータ） (2026-05-18T01:35:11Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。
マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。
実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
論文 参考訳（メタデータ） (2025-09-16T03:31:46Z) - Necessary and Sufficient Oracles: Toward a Computational Taxonomy For Reinforcement Learning [28.184175745050474]
本稿では,教師付き学習オラクルの選択が強化学習アルゴリズムの計算複雑性に与える影響について検討する。
まず、標準的なエピソード・アクセス・モデルにおいて、2コンテキスト回帰を最小のオラクルとみなす。
第二に、より強いリセットアクセスモデルにおいて、一文回帰を最小に近いオラクルとみなす。
第3に、我々はLow-Rank MDPに焦点を絞り、Block MDP設定の類似のオラクルが不十分であることを示す暗号的証拠を与えます。
論文 参考訳（メタデータ） (2025-02-12T18:47:13Z) - Fuzzy Logic Guided Reward Function Variation: An Oracle for Testing Reinforcement Learning Programs [2.871991859211386]
本稿では,ファジィ論理を用いたRL特性を利用した自動オラクル手法を提案する。
我々のオラクルは、エージェントの行動コンプライアンスと報酬ポリシーを定量化し、トレーニングエピソードの傾向を分析します。
コンプライアンス傾向がRL特性に由来する期待に反した場合、RLプログラムを"バギー"とラベル付けする。
論文 参考訳（メタデータ） (2024-06-28T10:41:17Z) - Improve the efficiency of deep reinforcement learning through semantic
exploration guided by natural language [10.47685316733524]
本稿では,検索に基づく手法を用いて,神託との対話を選択的かつ効率的に行う方法を提案する。
ニューラルネットワークを用いてエージェントとオラクルの現在の状態を符号化し、コーパスから最も関連性の高い質問を検索してオラクルを問う。
提案手法は,特定のレベルの性能に達するために必要なインタラクション数を削減し,RLの効率を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2023-09-21T03:25:35Z) - Policy Improvement via Imitation of Multiple Oracles [38.84810247415195]
イミテーションラーニング(Imitation Learning, IL)は、学習過程を加速するためにブートストラップとして訓練中にオラクルポリシーを使用する。
我々は,このベンチマークと競合するポリシーを確実に学習できる新しいILアルゴリズムMAMBAを提案する。
論文 参考訳（メタデータ） (2020-07-01T22:33:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。