論文の概要: APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering

• arxiv url: http://arxiv.org/abs/2609.02253v1
• Date: Wed, 02 Sep 2026 08:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.144455
• Title: APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering
• Title（参考訳）: APEx:Adaptive Deep Research Question Answeringのためのエージェント手続き体験の蒸留
• Abstract要約: APExは、対話履歴をインスタンスレベルの軌跡記憶とカテゴリレベルの手続きスキルに整理する階層的な経験利用フレームワークである。 APExは最先端のパフォーマンスを達成し、GPT-5.4を14.7ポイント、メモリ拡張ベースラインを3.0ポイント上回った。
• 参考スコア（独自算出の注目度）: 17.36907256920902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep research agents augment large language models with external tools to answer complex, long-horizon questions through multi-turn reasoning. Learning from prior experience is crucial for continual improvement, yet existing methods either retrieve verbose task-specific traces that burden decision-making, or distill procedural skills that remain decoupled from downstream policy adaptation. We propose APEx, a hierarchical experience utilization framework that organizes interaction history into instance-level trajectory memories and category-level procedural skills, and couples them through a closed-loop architecture of Executor, Distiller, and Planner. The three modules are optimized via a three-stage alternating GRPO training paradigm, enabling reward-guided skill distillation rather than fixed-prompt generation. At test time, distilled skills serve as procedural priors for online Planner adaptation through skill-guided test-time reinforcement learning, allowing ground-truth-free self-improvement with skill-alignment regularization to prevent policy drift. Experiments on 7 benchmarks demonstrate that APEx achieves state-of-the-art performance, surpassing GPT-5.4 by 14.7 points and the strongest memory-augmented baseline by 3.0 points.
• Abstract（参考訳）: ディープリサーチエージェントは、多ターン推論を通じて、複雑な長期の疑問に答えるために、外部ツールで大きな言語モデルを拡張する。 先行経験から学ぶことは継続的な改善に不可欠であるが、既存の方法は、意思決定を負担する冗長なタスク固有の痕跡を回収するか、下流の政策適応から切り離されたままの手続きスキルを蒸留するかのいずれかである。 本稿では,対話履歴をインスタンスレベルのトラジェクトリ記憶とカテゴリレベルの手続きスキルに整理し,それらをExecutor,Distiller,Plannerのクローズドループアーキテクチャで結合する階層的経験利用フレームワークAPExを提案する。 3つのモジュールは3段階のGRPOトレーニングパラダイムによって最適化されており、固定プロンプト生成ではなく、報酬誘導のスキル蒸留を可能にする。 試験時には、蒸留技術は、スキルガイドによるテスト時間強化学習を通じて、オンラインプランナー適応の手続き的先行として機能する。 7つのベンチマークの実験では、APExは最先端のパフォーマンスを達成し、GPT-5.4を14.7ポイント、メモリ拡張ベースラインを3.0ポイント超えた。

関連論文リスト

• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning [25.200068256200293]
  インタラクショントラジェクトリに埋め込まれた再利用可能な探索パターンは、単一のポリシー更新後に大部分が破棄される。 本研究では,検索した経験を仮訓練時の足場として扱うフレームワークであるEDGE(Experience-Distillation for Guided Exploration)を提案する。 EDGEは強力なRLベースラインを最大12.5ポイント改善し、推論時の足場やプロプライエタリなリフレクタを使わずに有効である。
  論文  参考訳（メタデータ） (2026-08-22T13:16:25Z)
• Policy Iteration with Human Feedback: Bringing Post-Training RL to In-context Learning [2.4186365899373565]
  人間のフィードバックによるポリシーイテレーション(PIHF)は、言語ベースのタスクコンディショニングとコンテキスト内学習に取り組んでいる。 PIHFは事前訓練された言語モデルを実行基盤として使用し、永続的なリビジョンをバージョン管理された自然言語ポリシーとツールセットに移行する。 累積アブレーションと超希薄なベンチマークを通じて、PIHF由来のポリシーは、Recall@1を1つのプロプライエタリエグゼキュータと3つのオープンウェイトエグゼキュータで改善した。
  論文  参考訳（メタデータ） (2026-08-17T17:16:43Z)
• Self-Improving Large Language Models via Progressive Experience Evolution [52.03479747358687]
  textbfSPEE(textbfSelf-textbfProgressive textbfExperience textbfEvolution)を提案する。 5つの数学的推論ベンチマークの実験は、SPEEが3つのモデルスケールでテスト時間とトレーニング時間の両方の自己進化ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-03T12:27:32Z)
• Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting [20.811638832981178]
  大規模言語モデル(LLM)エージェントは、過去のインタラクションからの経験を蓄積し再利用する必要がある。 データ駆動のスキル最適化は、実際の環境から収集された限られた軌道に過度に適合する傾向がある。 リスクを緩和する3段階フレームワークであるSkillBoostを提案する。
  論文  参考訳（メタデータ） (2026-07-29T09:05:40Z)
• OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning [38.54413500261524]
  オンデマンドの自己蒸留は、密集したトークンレベルの監督を提供する。 textbfOPID (textbfOn-textbfPolicy Sktextbfill textbfDistillation) は、軌道上で完了したスキル管理を直接抽出するフレームワークである。
  論文  参考訳（メタデータ） (2026-06-25T09:24:09Z)
• SkillEvolBench: Benchmarking the Evolution from Episodic Experience to Procedural Skills [31.23929961213889]
  大規模言語モデル(LLM)エージェントは、現実世界のタスクを解きながら豊富なエピソード軌道を蓄積する。 SkillEvolBenchは、経験の再利用からスキル形成まで、このステップを評価するための診断ベンチマークである。 現在のエージェントは、しばしばローカルに適応するが、堅牢な再利用可能なスキルを形成することは滅多にない。
  論文  参考訳（メタデータ） (2026-05-22T18:23:31Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards [76.17893114021757]
  長い形式のレポートを計画し、調査し、エビデンスを評価し、合成する深層研究システムには、根本的な答えがなく、多くのツール強化された決定にまたがる。 本研究では,ルーブリックは最終回答評価者だけでなく,ポリシーの実行,判断フィードバック,エージェントメモリを構成する共有インターフェースとして機能すべきである,と論じる。 我々は、段階的な政策分解とリフレクションに基づくメタ政治進化を組み合わせたルーリック誘導強化学習フレームワークEMを導入する。
  論文  参考訳（メタデータ） (2026-05-11T17:40:38Z)
• IntentRL: Training Proactive User-intent Agents for Open-ended Deep Research via Reinforcement Learning [54.21689544323704]
  Deep Research (DR)エージェントは、パラメトリック知識を超えてLarge Language Models (LLM)を拡張する。 リアルタイムの会話アシスタントとは異なり、DRは計算に高価で時間を要する。 IntentRLは、長期研究を始める前に、潜在ユーザ意図を明らかにするためにプロアクティブエージェントを訓練するフレームワークである。
  論文  参考訳（メタデータ） (2026-02-03T12:43:09Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。