論文の概要: When Retrieval Is Not Enough: Obsolete Facts in Agent Memory
- arxiv url: http://arxiv.org/abs/2610.36308v1
- Date: Mon, 26 Oct 2026 21:30:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.201444
- Title: When Retrieval Is Not Enough: Obsolete Facts in Agent Memory
- Title（参考訳）: 検索が不十分な場合:エージェントの記憶に異常が生じる
- Abstract要約: メモリエージェントベンチマークは、検索と回答生成を1つのスコアに分解する。
本稿では,MemoryAgentBenchの単一ホップFactConsolidationタスクについて検討する。
- 参考スコア（独自算出の注目度）: 1.2441492329024852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memory-agent benchmarks often collapse retrieval and answer generation into one score, making it hard to tell whether a failure comes from missing an update or from not using an update that was already retrieved. We examine this distinction on the single-hop FactConsolidation task of MemoryAgentBench. With Qwen2.5-7B-Instruct on 6K-history BM25 accuracy drops from 45% to 32% when the retrieved evidence budget grows from 64 to 512 tokens, even though a gold-assisted post-hoc audit finds the newest statement in every retrieved set. Most of the errors occur on questions that also contain an obsolete statement version. Under a frozen prompt and equal four-statement evidence size, replacing one unrelated statement with the obsolete competing statement reduces accuracy from 100% to 44.6% for Qwen2.5 and from 100% to 87.8% for Qwen3-14B, with all 50 harmful paired flips classified as stale. A 32K-history replication likewise favors BM25-64 over BM25-512 (69% versus 58%). These results suggest that retrieving the correct fact is not enough. An obsolete competing statement can be more harmful than an unrelated piece of evidence of the same size.
- Abstract（参考訳）: メモリエージェントベンチマークは、検索と回答生成をひとつのスコアに分解することが多いため、失敗が更新の欠如によるものなのか、すでに取得されたアップデートを使用していないものなのかを判断するのは困難である。
本稿では,MemoryAgentBenchの単一ホップFactConsolidationタスクについて検討する。
Qwen2.5-7B-Instruct on 6K-history BM25 corrects from 45% to 32% when the retrieveed evidence budget grows from 64 to 512 tokens, while a Gold-assisted post-hoc audit finds the latest statement in each retrieveed set。
ほとんどのエラーは、古いステートメントバージョンを含む質問に発生します。
凍結したプロンプトと等しい4つのステートメントのエビデンスサイズの下で、1つの無関係な文を古い競合文に置き換えると、Qwen2.5では100%から44.6%、Qwen3-14Bでは100%から87.8%まで精度が低下し、50個の有害なペアフリップは全て古いものに分類される。
32K履歴複製も同様にBM25-64をBM25-512よりも好んでいる(69%対58%)。
これらの結果は、正しい事実を取得するだけでは十分ではないことを示唆している。
競合する陳述は、同じ大きさの無関係な証拠よりも有害である可能性がある。
関連論文リスト
- Grounded Credit Assignment in Reinforcement Learning for Multi-Turn Search Agents [49.14597017870827]
Search-R1は7つのQAベンチマークの正確性を高めるが、Bamboogleでは84.0%から42.9%となっている。
検索と回答を別々に行うために,グラウンドド・クレジット・アサインメント(GCA)を提案する。
論文 参考訳（メタデータ） (2026-10-16T08:43:11Z) - MemoProAgent: Toward Memory-Driven Proactive Assistance [62.65924263961032]
MemoProBenchは、メモリ駆動型プロアクティブアシストのベンチマークである。
それは、エゴセントリックなビデオと、年長で気を散らすようなユーザー記憶を合わせたものだ。
トレーニングなしでは、MemoProAgentはQwen3.8-27Bで10%未満から37.5%、GPT-5.3-Chatで38%まで厳格な精度を上げた。
論文 参考訳（メタデータ） (2026-10-15T21:40:17Z) - Persistent Memory in Multi-Agent LLM Inference: What It Costs, What It Buys, and When You Can Tell [9.376130255915001]
協調エージェント間での長いコンテキスト推論の分解は、呼び出し毎にアクティブなKVキャッシュをバウンドする。
多くのシステムは、推論トレースを保存し、リコールする永続的な階層を追加する。
どちらも1つの3層エージェントアーキテクチャで測定します。
論文 参考訳（メタデータ） (2026-10-06T05:17:44Z) - ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time [0.40611352512781873]
ArrivalBenchは、エージェントが残したパイプラインを再実行する。
オラクルは分類ではなく再計算するので、間違ったテーブルとクラッシュは別個の判断である。
論文 参考訳（メタデータ） (2026-10-01T18:39:06Z) - CORE: Conflict-Oriented Reasoning Elimination for Verifiable Language-Model Search [8.40422613156805]
COREは、認証済みのコンフリクトコアを検証者から要求するサーチコントローラで、そのコアの最新の決定にバックジャンプし、コンフリクトをキャッシュして繰り返すことを避ける。
COREはQwen2.5-7B-インストラクションで75.9%、Qwen3-8Bで84.2%の平均的な成功率は72.5%と81.8%である。
論文 参考訳（メタデータ） (2026-09-30T06:06:51Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Causal Episodic Memory for Feedback-Driven Agent Repair [2.641347237473854]
オラクル認証のオンライン双極性メモリを保守するトレーニングフリーエージェントであるMERITを紹介する。
負のメモリが適度に寄与することを示し、型条件付けと語彙ランク付けの値はデータセットに依存し、スキーマローカルエクスペリエンスが最も一貫した利点を提供する。
論文 参考訳（メタデータ） (2026-08-06T11:34:03Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agents [0.0]
大規模言語モデル(LLM)エージェントは、事実が変化する長い多セッションの相互作用で機能する。
正しく行動するためには、事実の現在の値を使用し、置き換えられた値を捨てる必要がある。
この測定結果をトレーニング信号に変換するオープンな強化学習環境であるSupersedeをリリースする。
論文 参考訳（メタデータ） (2026-06-25T18:50:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。