論文の概要: ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience

• arxiv url: http://arxiv.org/abs/2610.05303v1
• Date: Sun, 04 Oct 2026 15:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 21:48:33.84995
• Title: ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience
• Title（参考訳）: ASCENT: 検証経験の自己蒸留による長距離エージェントのオンラインテストタイムトレーニング
• Abstract要約: 大規模言語モデル(LLM)エージェントは、多くの推論・アクションのターンを通じて長い水平タスクを解く。 インコンテキスト適応エージェントは、リフレクション、記憶、またはスキルをテキストとして格納するので、再利用は適切なエクスペリエンスを取得し、それを実行したフリーズポリシーに依存する。 我々は,オンラインエージェントテストタイムトレーニング(OaTTT)について検討し,LLMの重量を自身の実行軌跡で訓練する。 ASCENT (Agentic Self-distillation for Cross-task EvolutioN at Test-time) を導入する。
• 参考スコア（独自算出の注目度）: 17.820154259260953
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A large language model (LLM) agent solves long-horizon tasks through many reasoning-action turns, with one verification signal at termination. Deployed agents face streams of related tasks, making their trajectories a natural resource for improvement. In-context adaptation agents store reflections, memories, or skills as text, so reuse depends on retrieving the right experience and on a frozen policy executing it. We study Online Agentic Test-Time Training (OaTTT), which trains the LLM's weights on its own execution trajectories during deployment. The agent executes each task once, in one pass over the stream, and the executed trajectory with its verification result is the only learning signal for weight updates that persist across tasks. Directly imitating or reinforcing the generated tokens of this single attempt destabilizes the policy. We introduce ASCENT (Agentic Self-distillation for Cross-task EvolutioN at Test-time), which instead self-distills verified experience. A stable version of the LLM, its frozen initial copy, receives the verified trajectory as privileged information and predicts next-token distributions along it with this hindsight. Distilling them into persistent LoRA fast weights updates the agent for later tasks, without an external reference solution or stronger teacher. By further removing invalid-action turns, ASCENT distills enhanced privileged experience for more efficient execution. We characterize its population target and the limits of sparse outcome selection. Across ALFWorld, WebShop, and AppWorld at varied model scales, ASCENT improves task success and interaction efficiency as experience accumulates, outperforms online adaptation methods, and transfers to held-out scenes, showing that an agent can consolidate verified experience into its weights without a separate training phase or memory retrieval. Project page: https://artificer-ai-lab.github.io/ASCENT
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、多くの推論・アクションのターンを通じて長い水平タスクを解く。 デプロイされたエージェントは関連するタスクのストリームに直面する。 インコンテキスト適応エージェントは、リフレクション、記憶、またはスキルをテキストとして格納するので、再利用は適切なエクスペリエンスを取得し、それを実行したフリーズポリシーに依存する。 我々は,オンラインエージェントテストタイムトレーニング(OaTTT)について検討し,LLMの重量を自身の実行軌跡で訓練する。 エージェントは、各タスクを1回、ストリームを1回パスして実行し、その検証結果によって実行される軌道は、タスク全体で持続する重み更新のための唯一の学習信号である。 この単一の試みの生成されたトークンを直接模倣または補強することは、ポリシーを不安定にする。 ASCENT (Agentic Self-distillation for Cross-task EvolutioN at Test-time) を導入する。 LLMの安定バージョンは、その凍結初期コピーであり、検証された軌跡を特権情報として受け取り、その後見とともに次のトーケン分布を予測する。 それらを永続的なLoRAに分割することで、外部参照ソリューションやより強力な教師なしで、後続のタスクのエージェントを更新する。 さらに無効動作のターンを除去することで、ASCENTはより効率的な実行のために特権付きエクスペリエンスを蒸留する。 我々は、その人口目標とスパース結果選択の限界を特徴づける。 ASCENTは、ALFWorld、WebShop、AppWorldをさまざまなモデルスケールでカバーし、経験が蓄積されるにつれてタスクの成功と相互作用の効率を改善し、オンライン適応手法を上回り、保留シーンに転送する。 プロジェクトページ: https://artificer-ai-lab.github.io/ASCENT

関連論文リスト

• SWE-MILE: Asynchronous Potential-Induced Milestone Credit Assignment for Long-Horizon Software Engineering Agents [52.92536111845184]
  SWE-MILEは、ワークフローランタイムからきめ細かいプロセス監視を導出するプロセス監視フレームワークである。 非同期シャドウプローブは、分離されたサンドボックス内のリポジトリ変更アクションを再生し、エージェントのプライマリインタラクションと並行して検証を実行する。 2つの代表的な長期SWEタスクの実験は、エージェント性能を大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2026-09-26T13:49:14Z)
• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• CLaaS: Continual learning as a service for sample efficient online learning [1.7646568737734192]
  エージェントが一連のシナリオから学習するオンライン連続学習環境について検討する。 本稿では、エージェントがデプロイ中に改善できるシステムである継続的学習・アズ・ア・サービス(CL)を提案する。 対向課題におけるCLの評価を行い,パラメトリックな更新によって前向き転送の精度が向上し,文脈内学習よりも忘れられることが実証された。
  論文  参考訳（メタデータ） (2026-06-04T01:14:19Z)
• Experiential Reflective Learning for Self-Improving LLM Agents [1.1074589887824053]
  実験的反射学習(ERL:Experiential Reflective Learning)は,迅速な環境適応を実現するシンプルな自己改善フレームワークである。 ERLはタスクの軌跡と成果を反映して、タスク間で伝達される実行可能なレッスンを生成する。 ERLはReActベースラインよりも成功率を7.8%向上させ、タスク完了の信頼性を大きく向上させる。
  論文  参考訳（メタデータ） (2026-03-25T11:43:22Z)
• ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration [68.89572566071575]
  ETAgentはエージェントのツール使用行動を調整するためのトレーニングフレームワークである。 過誤行動パターンを最適行動に段階的に校正するように設計されている。
  論文  参考訳（メタデータ） (2026-01-11T11:05:26Z)
• AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
  大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。 プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-11T14:57:54Z)
• Towards Agentic Self-Learning LLMs in Search Environment [36.158823302039195]
  自己学習が人間の計算したデータセットや事前定義されたルールベースの報酬に頼ることなく、LSMベースのエージェントをスケールできるかどうかを検討する。 生成的リワードモデル(GRM)の報酬は、オープンドメイン学習のための厳密なルールベースの信号より優れている。 完全閉ループ・マルチロール強化学習フレームワークである textbfAgentic Self-Learning (ASL) を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:11:56Z)
• Reinforcement Learning for Machine Learning Engineering Agents [52.03168614623642]
  強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。 分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。 また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
  論文  参考訳（メタデータ） (2025-09-01T18:04:10Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。