論文の概要: SAPD: Learning from Agent Experience without Environment Interaction

• arxiv url: http://arxiv.org/abs/2610.27847v1
• Date: Tue, 20 Oct 2026 08:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.71935
• Title: SAPD: Learning from Agent Experience without Environment Interaction
• Title（参考訳）: SAPD:環境相互作用のないエージェント体験から学ぶ
• Abstract要約: Step-Advantage Policy Distillation (SAPD) は、相対的なステップの利点を用いてオフラインの軌道から学習する方法である。 SAPDは、多ターン軌跡を個別の意思決定コンテキストに分解し、オンライン蒸留を行う。 ALFWorld、WebShop、検索ベースのQAの実験では、SAPDは異なる教師構成でパフォーマンスを改善している。
• 参考スコア（独自算出の注目度）: 25.81963314457883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling the training of Large Language Model (LLM) agents typically requires a large collection of executable environments, whose construction, maintenance, and operation constrain the expansion of training experience. Existing offline trajectories offer an opportunity to reuse interaction experience, yet effectively refining the current policy without revisiting these environments remains challenging: supervised fine-tuning (SFT) can lead to catastrophic forgetting, while online reinforcement learning requires real-time interaction with the environment. To address this challenge, we propose Step-Advantage Policy Distillation (SAPD), a method for learning from offline trajectories using relative step advantages. SAPD decomposes multi-turn trajectories into individual decision contexts for on-policy distillation, allowing the student to generate responses conditioned on recorded histories, and introduces relative step advantage signals to stabilize training. The entire process requires neither new environment observations nor additional multi-turn interactions. Experiments on ALFWorld, WebShop, and Search-based QA show that SAPD improves performance across different teacher configurations, mitigates catastrophic forgetting compared with SFT, and runs at least $4.7\times$ faster per training step than online OPD. We will release our code soon.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントのトレーニングをスケールするには、通常、大規模な実行可能な環境の収集が必要である。 既存のオフライントラジェクトリは、インタラクションエクスペリエンスを再利用する機会を提供するが、これらの環境を再考することなく、現在のポリシーを効果的に洗練するのは難しい。 この課題に対処するために、我々は、相対的なステップの利点を用いてオフライン軌道から学習する方法である、ステップアドバンテージポリシー蒸留(SAPD)を提案する。 SAPDは、マルチターントラジェクトリをオンライン蒸留のための個別の意思決定コンテキストに分解し、学生が記録された履歴に条件付けられた応答を生成できるようにし、訓練を安定させるために相対的なステップアドバンテージ信号を導入する。 プロセス全体は、新しい環境観測も追加のマルチターン相互作用も必要としない。 ALFWorld、WebShop、検索ベースのQAの実験では、SAPDは異なる教師構成におけるパフォーマンスを改善し、SFTと比較して破滅的な忘れを軽減し、オンラインPDよりも少なくとも4.7\times$高速なトレーニングステップを実行している。 私たちはすぐにコードをリリースします。

関連論文リスト

• EvoCUA-1.5: Online Reinforcement Learning for Multi-turn Computer-Use Agents [37.78845989345579]
  EvoCUA-1.5は、オフライン体験からオンライン強化学習まで、自己進化するコンピュータ利用エージェントを拡張している。 この設定でのオンラインRLは、シングルターン言語-RLレシピを直接再利用する以上のものを必要とします。
  論文  参考訳（メタデータ） (2026-07-07T16:36:25Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• CLaaS: Continual learning as a service for sample efficient online learning [1.7646568737734192]
  エージェントが一連のシナリオから学習するオンライン連続学習環境について検討する。 本稿では、エージェントがデプロイ中に改善できるシステムである継続的学習・アズ・ア・サービス(CL)を提案する。 対向課題におけるCLの評価を行い,パラメトリックな更新によって前向き転送の精度が向上し,文脈内学習よりも忘れられることが実証された。
  論文  参考訳（メタデータ） (2026-06-04T01:14:19Z)
• SOLAR-RL: Semi-Online Long-horizon Assignment Reinforcement Learning [21.3755929369092]
  Reinforcement Learning (RL)は、動的GUIタスク上でMLLMエージェントをトレーニングするための有望なパラダイムとして登場した。 オンラインRLは長期のダイナミクスを捉えているが、高い相互作用コストと潜在的な環境不安定さに悩まされている。 SOLAR-RL(Semi-Online Long-Horizon Assignment Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2026-04-24T13:53:39Z)
• Sample Complexity of Distributionally Robust Off-Dynamics Reinforcement Learning with Online Interaction [11.339580074756187]
  強靭なマルコフ決定過程(RMDP)における学習として、オフダイナミックス強化学習(RL)を定式化することができる。 我々は、エージェントがトレーニング環境とのオンラインインタラクションに制限される、より現実的で困難な環境について研究する。
  論文  参考訳（メタデータ） (2025-11-07T16:24:22Z)
• Scaling Agent Learning via Experience Synthesis [100.42712232390532]
  強化学習は、対話を通じて自己改善を行うことで、自律的なエージェントに力を与えることができる。 しかし、コストのかかるロールアウト、タスクの多様性の制限、信頼性の低い報奨信号、インフラストラクチャの複雑さによって、その実践的採用は依然として困難である。 私たちはDreamGymを紹介します。DreamGymはスケーラビリティを念頭において多様なエクスペリエンスを合成するために設計された最初の統合フレームワークです。
  論文  参考訳（メタデータ） (2025-11-05T18:58:48Z)
• Don't Just Fine-tune the Agent, Tune the Environment [25.7349297100143]
  合成データの微調整の監督は、過度な適合につながる。 標準的な強化学習は、重要なコールドスタート問題とトレーニング不安定性に苦慮している。 本研究は,静的軌道の教師付き微調整から動的環境探索へのパラダイムシフトを示す。
  論文  参考訳（メタデータ） (2025-10-11T12:35:15Z)
• UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning [78.86567400365392]
  オフライン軌道上でオンラインRLをシミュレートする新しいパラダイムであるセミオンライン強化学習を提案する。 長期トレーニング信号をキャプチャするために、Semi-online RLは報酬計算に割引先を返す。 実験の結果,Semi-online RLは4つの動的ベンチマークで7Bモデル間でSOTA性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-09-15T03:24:08Z)
• Training a Generally Curious Agent [77.61142660542599]
  Paprikaは、言語モデルが一般的な意思決定機能を開発することを可能にする微調整のアプローチである。 Paprika氏は、より勾配の更新をすることなく、コンテキスト内の環境フィードバックに基づいて、新しいタスクで彼らの振る舞いを探索し、適応するようにモデルに教えている。 結果は、シーケンシャルな意思決定問題を自律的に解決できるAIシステムへの有望な道のりを示唆している。
  論文  参考訳（メタデータ） (2025-02-24T18:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。