論文の概要: ACLArena: Agent Continue Learning in Multi-stage Post-training

• arxiv url: http://arxiv.org/abs/2609.23989v1
• Date: Mon, 21 Sep 2026 01:48:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.960799
• Title: ACLArena: Agent Continue Learning in Multi-stage Post-training
• Title（参考訳）: ACLArena: 多段階ポストトレーニングにおけるエージェント学習の継続
• Abstract要約: ACLArenaは、ACLを包括的に研究、分析、評価するためのフレームワークである。 我々は、ステージ間で機能がどのように移行するかを詳細に理解する。 本稿では,高品質な軌道上でのオフライン再生と,RLを用いた複数のLORA専門家のルーティングネットワークを組み合わせた新しいACLレシピを提案する。
• 参考スコア（独自算出の注目度）: 80.34154201065638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building general-purpose agents for industrial deployment requires integrating multiple capabilities, each typically acquired at a distinct stage of training. Yet there is currently no well-established recipe for Agent Continual Learning (ACL), with little understanding of the trade-offs among existing integration paradigms. To address this gap, we introduce ACLArena, a framework for comprehensively studying, analyzing, and evaluating ACL. We first build a sequential training pipeline and conduct an in-depth analysis that explains the mechanisms of forgetting and generalization from two complementary perspectives, the model level and the token level. Guided by these analyses, we systematically compare multi-teacher on-policy distillation, self-distilled fine-tuning, and model merging to assess their ability to recover previously learned capabilities while preserving newly acquired ones. Through extensive experiments, we develop a detailed understanding of how capabilities transfer across stages. Finally, we propose a new ACL recipe that combines offline replay over high-quality trajectories with a routed network of multiple LoRA experts each specialized via RL, substantially improving the agent's ability to learn across multiple domains. Comprehensive experiments on four reasoning and agentic tasks, evaluated under both in-domain and out-of-domain settings, demonstrate the value of our analysis and the effectiveness of our approach.
• Abstract（参考訳）: 産業展開のための汎用エージェントを構築するには、複数の能力を統合する必要がある。 しかし、現在、既存の統合パラダイム間のトレードオフをほとんど理解せずに、エージェント連続学習(ACL)のための確立されたレシピはありません。 このギャップに対処するため、我々はACLを総合的に研究、分析、評価するためのフレームワークであるACLArenaを紹介した。 まず、逐次的なトレーニングパイプラインを構築し、モデルレベルとトークンレベルという2つの相補的な視点から、忘れ、一般化するメカニズムを詳細に分析する。 これらの分析によって, 複数教師によるオンライン蒸留, 自己蒸留ファインチューニング, モデルマージを体系的に比較し, 新たに獲得したものを保存しながら, 学習能力の回復能力を評価する。 広範な実験を通じて、我々はステージ間で機能がどのように移行するかを詳細に理解する。 最後に、高品質な軌道上でのオフライン再生と、RLを介して専門化された複数のLORA専門家のルーティングネットワークを組み合わせた新しいACLレシピを提案し、エージェントが複数のドメインをまたいで学習する能力を大幅に向上させる。 ドメイン内設定とドメイン外設定の両方で評価された4つの推論およびエージェントタスクに関する総合的な実験は、分析の価値とアプローチの有効性を実証する。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Beyond Rewards: a Hierarchical Perspective on Offline Multiagent Behavioral Analysis [14.656957226255628]
  本稿では,マルチエージェント領域における行動クラスタの発見のためのモデルに依存しない手法を提案する。 我々のフレームワークはエージェントの基盤となる学習アルゴリズムを前提とせず、潜伏状態やモデルへのアクセスを必要とせず、完全にオフラインで観察データを使って訓練することができる。
  論文  参考訳（メタデータ） (2022-06-17T23:07:33Z)
• Towards Understanding Cooperative Multi-Agent Q-Learning with Value Factorization [28.89692989420673]
  因子化多エージェントQ-ラーニングを解析するための多エージェント適合Q-イテレーションフレームワークを形式化する。 さらなる分析により、オンライン学習やよりリッチなジョイントバリュー関数クラスは、その局所的あるいは大域的収束特性を改善することができる。
  論文  参考訳（メタデータ） (2020-05-31T19:14:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。