論文の概要: ECHO: Prune to act, trace to learn with selective turn memory in agentic RL

• arxiv url: http://arxiv.org/abs/2606.31650v1
• Date: Tue, 30 Jun 2026 13:29:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.236875
• Title: ECHO: Prune to act, trace to learn with selective turn memory in agentic RL
• Title（参考訳）: ECHO: Prune to act, trace to learn with selective turn memory in agentic RL
• Abstract要約: ECHOは、ソースインデックスによる再構築を通じて、履歴の崩壊とトレース可能な学習に対処する、選択的なターンメモリフレームワークである。 BrowseComp-Plusでは、ECHOの保持精度は43.4%に達し、GRPO(28.9%)とローリングサマーベースラインSUPO(36.1%)を上回っている。
• 参考スコア（独自算出の注目度）: 9.429418772354397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon language agents must repeatedly interact with tools, accumulate evidence, and make decisions under bounded context windows. Existing context-management methods make such rollouts feasible by truncating distant history, folding past turns into summaries, or selecting compact memory states. However, these breakthroughs introduce two coupled limitations. First, as the number of turns grows, historical observations are progressively removed or collapsed into compressed states, making it harder for the policy to reuse fine-grained evidence. Second, once the original turns are no longer source-addressable, outcome-based RL loses an explicit path for aligning policy updates with the evidence that supported a successful final answer. To this end, we propose ECHO, a selective turn-memory framework that jointly addresses history collapse and traceable learning through source-indexed reconstruction. Specifically, ECHO compresses each completed environment turn into a compact memory record, reconstructs bounded policy contexts by selecting from these records, and reuses the selected source indices to route positive outcome credit to the evidence and selection actions that support successful answers. On BrowseComp-Plus, ECHO reaches 43.4% held-out accuracy, outperforming GRPO (28.9%) and the rolling-summary baseline SUPO (36.1%), while using fewer turns and lower trajectory volume than SUPO (Figure 1). Additionally, the trained policy improves zero-shot generalization across multi-objective QA, code generation, and deep information-seeking benchmarks on both dense and MoE backbones.
• Abstract（参考訳）: ロングホライゾン言語エージェントはツールと繰り返し対話し、エビデンスを蓄積し、コンテキスト境界の下で決定をしなければならない。 既存のコンテキスト管理手法では、そのようなロールアウトは、遠い歴史を断ち切ったり、過去を振り返って要約にしたり、コンパクトなメモリ状態を選択することで実現可能である。 しかし、これらのブレークスルーには2つの制約が伴う。 まず、ターン数が増加するにつれて、歴史的観測は徐々に除去されるか、圧縮された状態に崩壊するので、政策がきめ細かい証拠を再利用することが難しくなる。 第二に、一度元のターンがソースに適応できなくなると、結果ベースのRLは、ポリシー更新と、成功した最終回答を支持するエビデンスとを整合させる明確なパスを失う。 そこで本研究では,歴史の崩壊とトレーサブルな学習をソースインデックスによる再構築を通じて共同で処理する,選択的ターンメモリフレームワークECHOを提案する。 具体的には、ECHOは、それぞれの完了した環境をコンパクトなメモリレコードに変換し、これらのレコードから選択することで境界付けられたポリシーコンテキストを再構築し、選択したソースインデックスを再利用して、成功した回答を支持するエビデンスと選択アクションに肯定的な結果のクレジットをルーティングする。 BrowseComp-Plusでは、ECHOのホールトアウト精度は43.4%に達し、GRPO(28.9%)とローリングサマーベースラインSUPO(36.1%)を上回っている。 さらに、トレーニングされたポリシーは、多目的QA、コード生成、高密度およびMoEバックボーンのディープ情報検索ベンチマークにおけるゼロショットの一般化を改善する。

関連論文リスト

• Harness-G: A Graph-Structured Harness for Search Agents [17.554676400013424]
  強化学習(RL)検索エージェントは、検索を自由形式の自然言語クエリ生成としてモデル化する。 本稿では,このインタフェースを再設計するグラフ構造化検索フレームワークであるHarness-Gを提案する。 フリーフォームクエリ生成を有限アクション選択として再構成し、環境はメニューを構築し、検索状態を追跡し、それぞれの選択を検証、実行します。 両方の評価されたモデルスケールでF1の平均値が最も高く、最強のベースラインであるGraph-R1を1.5Bで10.74点、3Bで3.98点で上回っている。
  論文  参考訳（メタデータ） (2026-07-30T04:05:05Z)
• SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning [14.505575259468053]
  テスト時強化学習(TTRL)により、ラベル付きフィードバックなしで推論時に言語モデルを自己進化させることができる。 SERPOを導入し、回答投票をクローズドループに置き換え、レスポンスエビデンス、クエリトケン、ポリシーパラメータを共進化させる。 新しいアクターロールアウトはアーカイブとルーリックの両方をリフレッシュし、3方向の進化ループを閉じる。
  論文  参考訳（メタデータ） (2026-07-29T13:03:07Z)
• ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning [78.94047086588078]
  長文推論のための LLM Harness として再帰的証拠を提案する。 長文推論を改善するための訓練不要推論法である。 128Kのコンテキスト長を持つ8つの長文データセットの実験は、エビデンスの利用を一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-07-02T17:59:26Z)
• Same Ranking, Different Winner: How Scoring Targets Shape LLM Memory Benchmarks [2.9089118242427627]
  会話記憶システムは対話履歴を事実、要約、タイムライン、および他のソースリンクされた子孫に変換する。 どのストアドフォームが検索クレジットを受け取るべきか? このスコアリング対象の選択は、しばしば暗黙的に残され、ベンチマークの結論を実質的に変更できることを示す。
  論文  参考訳（メタデータ） (2026-05-22T02:53:07Z)
• RRCM: Ranking-Driven Retrieval over Collaborative and Meta Memories for LLM Recommendation [14.301653810918713]
  大規模言語モデル(LLM)は、次世代のレコメンデーションシステムにとって有望なパラダイムとして登場した。 LLMに基づくエージェントレコメンデーションのためのランキング駆動型検索・推論フレームワークRRCMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T02:07:30Z)
• Self-Correcting RAG: Enhancing Faithfulness via MMKP Context Selection and NLI-Guided MCTS [5.711356514732554]
  自己補正RAGは、制約付き最適化と経路計画として検索と生成を再構成する。 入力側では、コンテキスト選択を多次元多重選択knapsack問題(MMKP)として定式化する。 出力側では、自然言語推論(NLI)誘導モンテカルロ木探索(MCTS)機構を導入する。
  論文  参考訳（メタデータ） (2026-04-12T17:14:36Z)
• Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval [59.295767860331004]
  RF-Memは、親しみやすい不確実性誘導デュアルパスメモリレトリバーである。 それは、人間のようなデュアルプロセス認識をレトリバーに埋め込む。 一定の予算とレイテンシの制約の下で、ワンショット検索とフルコンテキスト推論を一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-10T06:31:44Z)
• MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
  本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。 それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。 我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
  論文  参考訳（メタデータ） (2025-11-04T18:27:39Z)
• Chunks as Arms: Multi-Armed Bandit-Guided Sampling for Long-Context LLM Preference Optimization [56.97588709890706]
  LongMab-POは、長文モデリングタスクのための高品質で多様な応答を生成する新しいフレームワークである。 実験の結果,LongMab-POは嗜好データペアの多様性と品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-19T16:33:55Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Ranking Free RAG: Replacing Re-ranking with Selection in RAG for Sensitive Domains [13.58151841630302]
  本稿では,RAGにおける再ランク付けを合理的な選択手法で置き換える新しい方法であるMETEORAを提案する。 METEORAは、最先端の再評価手法よりも約50%少ないチャンクを使用しながら、生成精度を33.34%向上させる。 敵対的な設定では、METEORAはF1スコアを0.10から0.44に大幅に改善する。
  論文  参考訳（メタデータ） (2025-05-21T20:57:16Z)
• Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [95.85537087475882]
  既存のアプローチは、大規模言語モデル(LLM)の固有の知識を過小評価している。 本稿では,選択検索と知識の言語化を結びつける新しいフレームワークであるSelf-Routing RAGを提案する。 SR-RAGは検索回数を29%削減し、性能は5.1%向上した。
  論文  参考訳（メタデータ） (2025-04-01T17:59:30Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。