論文の概要: Experience Funnel: A State-Policy Alternating Loop for Self-Evolving Agents

• arxiv url: http://arxiv.org/abs/2609.08919v1
• Date: Tue, 08 Sep 2026 15:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 20:32:41.852878
• Title: Experience Funnel: A State-Policy Alternating Loop for Self-Evolving Agents
• Title（参考訳）: Experience Funnel: セルフ進化エージェントのためのステート・ポリティクス代替ループ
• Abstract要約: 明示的なテキスト状態は、高速で可読で編集可能な適応を提供するが、外部のコンテキストに永続的な依存をもたらす。 textitExperience Funnelは、迅速な状態適応と遅いポリシー統合を結合する自己進化型フレームワークである。 実験により、textitExperience Funnelは、状態のみの進化とポリシーのインターナライゼーションアプローチよりも、エージェント能力を一貫して改善していることが示された。
• 参考スコア（独自算出の注目度）: 25.199723630529004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous agents powered by large language models (LLMs) continuously accumulate experience through interaction, creating an opportunity to improve future behavior through self-evolution. A fundamental challenge is how to transform abundant, task-specific interaction experience into reusable model competence without sacrificing the ability to adapt rapidly to newly observed evidence. Explicit textual states, such as skills and agent harnesses, provide fast, human-readable and editable adaptation, but incur persistent dependence on external context; parametric policies provide compact and reusable competence, but are substantially slower to update. We present \textit{Experience Funnel}, a self-evolving framework that couples fast state adaptation with slow policy consolidation in an alternating loop. Interaction trajectories are first distilled into an explicit textual state, where newly acquired experience can be rapidly incorporated and validated. The framework then selectively identifies state-enabled behavior that remains useful across state revisions and consolidates it into the policy through transition-aware distillation. The updated state--policy pair subsequently generates new rollouts, providing fresh evidence for the next round of state adaptation and policy consolidation. Experiments across diverse agent benchmarks show that \textit{Experience Funnel} consistently improves agent capability over state-only evolution and policy-internalization approaches, while progressively converting useful explicit experience into autonomous policy competence.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用した自律エージェントは、対話を通じて継続的に経験を蓄積し、自己進化を通じて将来の行動を改善する機会を生み出す。 基本的な課題は、タスク固有のインタラクション体験を、新しく観察された証拠に迅速に適応する能力を犠牲にすることなく、再利用可能なモデル能力に変換する方法である。 スキルやエージェントハーネスなどの明示的なテキスト状態は、高速で可読で編集可能な適応を提供するが、外部コンテキストへの永続的な依存を生じさせる。 本稿では,自己進化型フレームワークである‘textit{Experience Funnel} について述べる。 相互作用軌跡をまず明示的なテキスト状態に蒸留し、新たに取得した経験を迅速に組み込んで検証することができる。 このフレームワークは、状態修正において有用な状態対応の挙動を選択的に識別し、遷移認識蒸留を通じて政策に統合する。 更新された州と政治のペアはその後、新たなロールアウトを発生させ、次の州適応と政策統合の新たな証拠を提供する。 多様なエージェントベンチマークによる実験によると、‘textit{Experience Funnel} は、有用な明示的な経験を自律的なポリシー能力に段階的に変換しながら、州のみの進化と政策内部化アプローチよりもエージェント能力を一貫して改善している。

関連論文リスト

• Self-Improving Large Language Models via Progressive Experience Evolution [52.03479747358687]
  textbfSPEE(textbfSelf-textbfProgressive textbfExperience textbfEvolution)を提案する。 5つの数学的推論ベンチマークの実験は、SPEEが3つのモデルスケールでテスト時間とトレーニング時間の両方の自己進化ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-03T12:27:32Z)
• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning [38.54413500261524]
  オンデマンドの自己蒸留は、密集したトークンレベルの監督を提供する。 textbfOPID (textbfOn-textbfPolicy Sktextbfill textbfDistillation) は、軌道上で完了したスキル管理を直接抽出するフレームワークである。
  論文  参考訳（メタデータ） (2026-06-25T09:24:09Z)
• From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
  AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。 敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。 実験の結果、最大40.6%のトレーニングステップが短縮された。
  論文  参考訳（メタデータ） (2026-06-12T02:13:55Z)
• Taming "Zombie'' Agents: A Markov State-Aware Framework for Resilient Multi-Agent Evolution [50.50276752935017]
  AgentReviveは、レジリエントなマルチエージェント進化のためのMarkovステートアウェアフレームワークである。 我々の手法はソフト状態遷移を通じてエージェントの協調を動的に管理する。 ステートアウェアなエージェントスケジューリングによってトークンの消費を大幅に削減する。
  論文  参考訳（メタデータ） (2026-05-17T09:38:18Z)
• Self-Consolidation for Self-Evolving Agents [51.94826934403236]
  大規模言語モデル(LLM)エージェントは静的システムとして機能し、生涯にわたる相互作用を通じて進化する能力に欠ける。 相補的進化機構を導入したLLMエージェントのための新しい自己進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-02T11:16:07Z)
• Yunjue Agent Tech Report: A Fully Reproducible, Zero-Start In-Situ Self-Evolving Agent System for Open-Ended Tasks [10.622439192272527]
  従来のエージェントシステムは、タスク分布が継続的にドリフトし、外部の監視が不十分な、オープンな環境に苦しむ。 In-Situ Self-Evolving(In-Situ Self-Evolving)パラダイムを提案する。 このフレームワーク内では、新しい課題をナビゲートするためのツールを反復的に合成、最適化、再利用するシステムであるYunjue Agentを開発します。
  論文  参考訳（メタデータ） (2026-01-26T07:27:47Z)
• Simple Agent, Complex Environment: Efficient Reinforcement Learning with Agent State [35.69801203107371]
  任意の環境で動作可能な簡易強化学習エージェントを設計する。 エージェントは、各エージェント状態-アクションペアの訪問数と値の推定のみを保持する。 環境状態の数や、他の政策や歴史統計に関連付けられた混合時間に、これ以上依存することはない。
  論文  参考訳（メタデータ） (2021-02-10T04:53:12Z)
• Efficient Empowerment Estimation for Unsupervised Stabilization [75.32013242448151]
  エンパワーメント原理は 直立位置での 力学系の教師なし安定化を可能にする 本稿では,ガウスチャネルとして動的システムのトレーニング可能な表現に基づく代替解を提案する。 提案手法は, サンプルの複雑さが低く, 訓練時より安定であり, エンパワーメント機能の本質的特性を有し, 画像からエンパワーメントを推定できることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。