論文の概要: Ask Only When Needed: Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents

• arxiv url: http://arxiv.org/abs/2604.20572v1
• Date: Wed, 22 Apr 2026 13:50:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:11.153879
• Title: Ask Only When Needed: Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents
• Title（参考訳）: Ask Only When Needed: Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents
• Authors: Yuxuan Cai, Jie Zhou, Qin Chen, Liang He,
• Abstract要約: ProactAgentは、構造化経験ベース上でのプロアクティブ検索のための、経験駆動の生涯学習フレームワークである。 ExpOnEvoは、過去のインタラクションを、事実記憶、エピソード記憶、行動スキルを含む型付きリポジトリに整理することで、検索が関連するエビデンスと実行可能なガイダンスの両方を提供する。 ProactRLは、検索決定のためのステップレベルの監視を提供し、より良いタスク結果やより高い効率につながる場合にのみ、検索を奨励する。
• 参考スコア（独自算出の注目度）: 21.029076711222917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online lifelong learning enables agents to accumulate experience across interactions and continually improve on long-horizon tasks. However, existing methods typically treat retrieval from past experience as a passive operation, triggering it only at task initialization or after completing a step. Consequently, agents often fail to identify knowledge gaps during interaction and proactively retrieve the most useful experience for the current decision. To address this limitation, we present ProactAgent, an experience-driven lifelong learning framework for proactive retrieval over a structured experience base. We first introduce Experience-Enhanced Online Evolution (ExpOnEvo), which enables continual improvement through both policy updates and memory refinement. The experience base organizes historical interactions into typed repositories, including factual memory, episodic memory, and behavioral skills, so that retrieval can provide both relevant evidence and actionable guidance. On top of this, we propose Proactive Reinforcement Learning-based Retrieval (ProactRL), which models retrieval as an explicit policy action and learns when and what to retrieve via paired-branch process rewards. By comparing continuations from identical interaction prefixes with and without retrieval, ProactRL provides step-level supervision for retrieval decisions, encouraging retrieval only when it leads to better task outcomes or higher efficiency. Experiments on SciWorld, AlfWorld, and StuLife show that ProactAgent consistently improves lifelong agent performance, achieving success rates of 73.50\% on SciWorld and 71.28\% on AlfWorld while substantially reducing retrieval overhead, and attains performance competitive with proprietary models on StuLife.
• Abstract（参考訳）: オンラインの生涯学習は、エージェントが対話を通じて経験を蓄積し、長期的なタスクを継続的に改善することを可能にする。 しかし、既存の手法では、過去の経験からの検索を受動的操作として扱い、タスクの初期化やステップ完了後にのみトリガーする。 その結果、エージェントは相互作用中の知識ギャップを識別できず、現在の決定に最も有用な経験を積極的に回収する。 この制限に対処するため、構造化経験ベース上でのプロアクティブ検索のための経験駆動型生涯学習フレームワークであるProactAgentを提案する。 最初にExpOnEvo(ExpOnEvo)を導入し、ポリシー更新とメモリリファインメントによる継続的な改善を実現した。 体験ベースは、事実記憶、エピソード記憶、行動スキルを含む、歴史的相互作用を型付きリポジトリに整理することで、検索が関連する証拠と実行可能なガイダンスの両方を提供する。 そこで我々は,ProactRL(Proactive Reinforcement Learning-based Retrieval)を提案する。 ProactRLは、同一の相互作用プレフィックスからの継続を検索と無関係に比較することにより、検索決定のための段階レベルの監視を提供し、より良いタスク結果やより高い効率につながる場合にのみ、検索を奨励する。 SciWorld、AlfWorld、StuLifeの実験では、ProactAgentは生涯のエージェントのパフォーマンスを継続的に改善し、SciWorldで73.50\%、AlfWorldで71.28\%の成功率を達成した。

関連論文リスト

• Experiential Reflective Learning for Self-Improving LLM Agents [1.1074589887824053]
  実験的反射学習(ERL:Experiential Reflective Learning)は,迅速な環境適応を実現するシンプルな自己改善フレームワークである。 ERLはタスクの軌跡と成果を反映して、タスク間で伝達される実行可能なレッスンを生成する。 ERLはReActベースラインよりも成功率を7.8%向上させ、タスク完了の信頼性を大きく向上させる。
  論文  参考訳（メタデータ） (2026-03-25T11:43:22Z)
• Retrieval-Augmented LLM Agents: Learning to Learn from Experience [16.248836438253814]
  本研究では,検索対象のLLMエージェントを学習し,検索したトラジェクトリをコンテキスト内で活用する方法について検討する。 最先端のエージェントトレーニングパイプラインよりも優れたロラを用いた,堅牢な教師付き微調整(SFT)レシピを確立した。 その結果,この組み合わせによるタスクの一般化が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2026-03-18T20:45:04Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• Agent Learning via Early Experience [93.83579011718858]
  言語エージェントの長期的な目標は、彼ら自身の経験から学び、改善することであり、最終的には複雑な現実世界のタスクにおいて人間より優れています。 現在のエージェントのほとんどは、専門家データによる教師付き微調整に依存しており、スケールと一般化が不十分である。 本研究では,(1)環境力学における政策の基盤として収集された状態を利用するインプリシット・ワールド・モデリング,(2)エージェントが最適な行動から学習し,推論と意思決定を改善するための自己回帰という2つの手法について検討する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:17Z)
• ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory [57.517214479414726]
  ReasoningBankは、エージェントの自己判断の成功と失敗の経験から一般化可能な推論戦略を抽出するメモリフレームワークである。 テスト時には、エージェントがReasoningBankから関連する記憶を取得してそのインタラクションを知らせ、新しい学習を統合することで、時間が経つにつれてより有能になる。 本稿では,エージェントのインタラクションエクスペリエンスをスケールアップすることにより,学習プロセスの高速化と多様化を図るメモリ対応テストタイムスケーリング(MaTTS)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T17:51:03Z)
• AdaER: An Adaptive Experience Replay Approach for Continual Lifelong Learning [16.457330925212606]
  持続的生涯学習の課題に対処するために,適応的経験リプレイ(AdaER)を提案する。 AdaERはメモリリプレイとメモリ更新という2つのステージで構成されている。 結果: AdaERは、既存の持続的生涯学習ベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-08-07T01:25:45Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。