論文の概要: OpenLoopEvolve: A Verifiable Self-Evolution Framework for Loop Policies in Long-Horizon Complex Tasks
- arxiv url: http://arxiv.org/abs/2608.09380v1
- Date: Mon, 10 Aug 2026 09:57:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.202238
- Title: OpenLoopEvolve: A Verifiable Self-Evolution Framework for Loop Policies in Long-Horizon Complex Tasks
- Title（参考訳）: OpenLoopEvolve: 長距離複合タスクにおけるループポリシの検証可能な自己進化フレームワーク
- Abstract要約: 本稿では,ループポリシーを中心とした自己進化フレームワークであるOpenLoopEvolve(OLE)について述べる。
OLEは、エージェントの観察、計画、記憶、行動、検証、回復、停止、予算管理を、バージョンと系統を持つポータブルなポリシー資産として表現する。
オンラインモードは連続的な操作からのフィードバックに基づいて候補生成をトリガーし、オフラインモードはアーカイブされたトレースと障害証拠から候補ポリシーを検索する。
- 参考スコア（独自算出の注目度）: 17.773038952370865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon complex tasks require agents to repeatedly observe states, formulate plans, invoke tools, verify results, and recover from failures in continuously changing environments. However, such control experience often remains confined to a single context or a fixed prompt, and is difficult to accumulate and reuse across historical traces. This paper presents OpenLoopEvolve (OLE), a self-evolution framework centered on the Loop Policy. OLE represents an agent's observation, planning, memory, action, verification, recovery, stopping, and budget control as portable policy assets with versions and lineages, and provides online and offline evolution modes that can be selected according to practical needs: the online mode triggers candidate generation based on feedback from continuous operation, whereas the offline mode searches for candidate policies from archived traces and failure evidence. Both modes share an evolution mechanism consisting of autonomous proposals by a large language model, Champion--Challenger paired evaluation, and robust release. Policies released online are activated at a subsequent task boundary, monitored using subsequent feedback, and rolled back to their parent versions when degradation conditions are met. On the simulated business benchmark YC-Bench, both modes improve aggregate task performance, task success rate, and risk metrics relative to a fixed initial Loop Policy. The results indicate that treating the Loop Policy as a governable asset can support the accumulation, comparison, release, and reuse of control experience and improve agent performance on long-horizon complex tasks.
- Abstract（参考訳）: 長期にわたる複雑なタスクでは、エージェントが状態を繰り返し観察し、計画を定式化し、ツールを実行し、結果を検証し、継続的に変化する環境の障害から回復する必要がある。
しかし、そのようなコントロールエクスペリエンスは、多くの場合、単一のコンテキストや固定されたプロンプトに限られており、過去の痕跡をまたいだ蓄積や再利用が困難である。
本稿では,ループポリシーを中心とした自己進化フレームワークであるOpenLoopEvolve(OLE)について述べる。
オンラインモードは、継続的な操作からのフィードバックに基づいて候補生成をトリガーし、オフラインモードはアーカイブされたトレースと失敗の証拠から候補ポリシーを検索する。
どちらのモードも、大きな言語モデルによる自律的な提案、チャンピオン-シャレンガーのペア評価、堅牢なリリースからなる進化のメカニズムを共有している。
オンラインでリリースされたポリシは、その後のタスクバウンダリでアクティベートされ、その後のフィードバックを使用して監視され、劣化条件を満たすと親バージョンにロールバックされる。
シミュレーションされたビジネスベンチマークYC-Benchでは、どちらのモードも、固定された初期ループポリシーと比較して、アグリゲートタスクのパフォーマンス、タスクの成功率、リスクメトリクスを改善します。
その結果、ループポリシーを支配可能な資産として扱うことで、制御経験の蓄積、比較、リリース、再利用を支援し、長期にわたる複雑なタスクにおけるエージェントのパフォーマンスを向上させることが示唆された。
関連論文リスト
- Smarter by the Moment: Environment-Driven Dynamic Policies for Continual LLM Improvement [22.481667463025214]
本稿では,動的ポリシー生成とメモリベースの検索を統合するフレームワークである動的検索型ポリシー生成(DRPG)を提案する。
DRPGをテキストから回答、質問応答、診断、Pythonプログラミングにまたがる6つのベンチマークで評価した。
DRPGのポリシー生成は、検索戦略に対して堅牢であり、事前のポリシー継続性なしに効果的に動作し、コスト効率の良いポリシー生成装置として、小型またはクロスファミリーモデルを利用することができる。
論文 参考訳（メタデータ） (2026-09-15T08:06:17Z) - Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization [14.306388130938236]
マルチモーダルエンボディエージェントの多様な計画方針を発見するための品質多様性フレームワークを提案する。
提案手法は,計画型テンプレートを進化可能な個人として扱い,行動インデクシングしたアーカイブとして整理する。
オフラインの段階では、ロールアウトの軌跡は構造化された成功と失敗の経験にまとめられ、ポリシーの変化を導く。
オンラインの段階では、システムは最新のチェックポイントにロールバックし、動作的に異なるアーカイブポリシーに切り替えて実行を再開する。
論文 参考訳（メタデータ） (2026-08-09T06:41:53Z) - MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution [3.5615347765658396]
長期的な実施タスクは、タスクの成功が観察される前に、多くの依存アクションを実行するポリシーを必要とする。
MementOは、コード・アズ・ポリティクスの進化のためのメモリ誘導シングルエリート・メメティック・フレームワークである。
長地平線を具現化した2つのドメイン(Robosuite Franka Tower-of-Hanoi)とAI2-THORホームインタラクション)でMementOを評価した。
論文 参考訳（メタデータ） (2026-07-24T18:16:35Z) - EvoPolicyGym: Evaluating Autonomous Policy Evolution in Interactive Environments [64.33452656100393]
本稿では,固定的なインタラクション予算の下で,ハーネスモデルエージェントが繰り返し実行可能なポリシシステムを編集する制御された評価設定である自律ポリシー進化を紹介する。
この設定を、コンパクトなインタラクティブRL環境から構築されたベンチマークであるEvoPolicyGymでインスタンス化する。
EvoPolicyGymスイートでは、GPT-5.5が16の環境で最強のランキングスコアとトップ2のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2026-07-02T17:10:13Z) - OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents [74.20327254615854]
大規模言語モデルエージェントは、シーケンシャルな意思決定タスクを解決するために、推論、行動選択、観察をインターリーブする。
LLMエージェントの既存の推論時間適応法は、主にプロンプトや検索に依存している。
提案するOLIVIAは,ReAct型エージェントのための推論時行動適応フレームワークである。
論文 参考訳（メタデータ） (2026-05-11T19:28:20Z) - AgentSwing: Adaptive Parallel Context Management Routing for Long-Horizon Web Agents [115.18197165538943]
大規模言語モデル(LLM)は、長距離情報探索のための自律エージェントへと進化する。
既存のコンテキスト管理手法は通常、軌道全体を通して単一の固定戦略にコミットする。
本稿では,探索効率と終端精度の2つの相補的な次元を通じて,長期的成功を特徴付ける確率的枠組みを提案する。
論文 参考訳（メタデータ） (2026-03-29T02:59:27Z) - PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution [64.15555230987222]
PACEvolveはエージェントのコンテキストと検索ダイナミクスを堅牢に管理するように設計されたフレームワークである。
PACEvolveは、一貫性のある長期自己改善のための体系的なパスを提供する。
論文 参考訳（メタデータ） (2026-01-15T18:25:23Z) - Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
本稿では,自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。
これらの課題に対処するため、我々は自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。
雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。
論文 参考訳（メタデータ） (2024-06-08T10:12:00Z) - Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。
本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。
本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
論文 参考訳（メタデータ） (2024-05-23T02:41:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。