論文の概要: Delivered, Not Used: Evaluating Agent Memory at Its Point of Use

• arxiv url: http://arxiv.org/abs/2611.01718v1
• Date: Sun, 01 Nov 2026 09:09:43 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:46:26.44338
• Title: Delivered, Not Used: Evaluating Agent Memory at Its Point of Use
• Title（参考訳）: Delivered, not use: Evaluating Agent Memory at its point of use
• Abstract要約: 本稿では,記録トラジェクトリにおけるメモリ使用時のメモリ評価を行うMemUseを紹介する。 エージェント・ジャッジは、各エントリーの関連性、正確性、新規性、影響、観察された効果を評価する。 MemUseは、ほとんどの配信されたエントリは無関係であり、最も関連するエントリは未使用であり、2つのシステムにおいて、ほとんどの配信されたコンテンツは、エージェントがまだ見ることができたことを示している。
• 参考スコア（独自算出の注目度）: 9.561996491522954
• License:
• Abstract: Task success, retrieval quality, and cost do not show whether an LLM agent used a delivered memory or what followed from that use. We introduce MemUse, which evaluates memory at its point of use in recorded trajectories: each memory delivery is compared with what the agent could already see and followed through the agent's later actions and their consequences. An agentic judge rates each delivered entry's relevance, accuracy, novelty, influence, and observed effect; programmatic checks enforce complete reading of cited evidence, and fixed rules aggregate the ratings into verdicts linked to memory histories and delivery cost. On 8,000 SWE-bench Verified episodes from three memory systems, resolve rates stay within 0.4 percentage points of a no-memory baseline, yet MemUse shows that most delivered entries were irrelevant, most relevant entries went unused, and in two systems most deliveries restated content the agent could still see. It also surfaces effects that outcomes hide: 23.2\% of episodes with beneficial memory use still failed, and 5 of 16 with harmful use still succeeded.
• Abstract（参考訳）: タスク成功、検索品質、コストは、LLMエージェントが配信されたメモリを使用しているか、それに続くものなのかを示すものではない。 それぞれのメモリ配信は、エージェントがすでに見たものと比較され、エージェントの後のアクションとその結果を通して追跡される。 エージェント・ジャッジは、各エントリーの関連性、正確性、ノベルティ、影響、観察された効果を評価し、プログラムによるチェックは、引用された証拠の完全な読み取りを強制し、固定されたルールは、評価をメモリ履歴と配信コストに関連する判断に集約する。 3つのメモリシステムから8000回のSWE-bench検証エピソードでは、リゾルバレートは無メモリベースラインの0.4ポイント以内に留まるが、MemUseは、ほとんどのエントリは無関係であり、関連するエントリは未使用であり、2つのシステムでは、ほとんどのリゾルバ配信されたコンテンツは、まだエージェントが見ることができることを示している。 記憶に有益なエピソードの23.2\%はまだ失敗し、有害なエピソードの16件中5件は依然として成功した。

関連論文リスト

• Remembering Is Not Enough: Refining Memories and Learning When to Use Them in Multi-Agent Systems [16.66908503791802]
  メモリ品質とメモリ使用量の両方を改善するトレーニング不要のフレームワークであるDiscernMemを提案する。 DMRは、チーム実行を単一のメモリとメモリなしで比較し、ルールの欠陥を診断し、現在のタスクと以前のタスクの修正をテストする。 BLMは、各メモリの過去の使用と効果を記録し、その所有者の役割が適用されるか、避けるべきかを学習する。
  論文  参考訳（メタデータ） (2026-10-27T05:12:46Z)
• MemDev-Bench: Does Memory Help Code Agents?Benchmarking Memory Systems over Real Repository Histories [51.50022165666403]
  本稿では,メモリシステムがさまざまなリポジトリ履歴に対してコードエージェントに与える影響を評価するためにMemDev-Benchを提案する。 MemDev-Benchをベースとして,メモリシステムの系統的評価を行った。
  論文  参考訳（メタデータ） (2026-10-20T02:39:26Z)
• Multimodal Filesystem Memory For Long-Horizon Embodied Agents [54.82315140171704]
  エージェントメモリの補完型を保持するマルチモーダルメモリアーキテクチャである textbfMFM を提案する。 MFMは検索可能なテキストレコードを使用して、異なる表現を基礎となるマルチモーダルエピソードに接続する。 長い水平マインクラフトとコンピュータ使用タスクの場合、MFMは3つのベースモデルで性能を向上させる。
  論文  参考訳（メタデータ） (2026-10-15T21:56:00Z)
• MemSecBench: Tracking Agent Memory Poisoning from Persistence to Consequence and Repair [11.307480451677145]
  メモリシステムは、エージェントが過去のインタラクションから情報を保持、再利用することを可能にするが、悪意のあるコンテンツを持続させることもできる。 最近のベンチマークでは、エージェントメモリのセキュリティがますます調査されているが、永続性、下流の結果、選択的な修復など、同じ悪意のあるセマンティクスをトレースするケースはほとんどない。 MemSecBenchはエージェントメモリシステムのライフサイクルセキュリティのベンチマークである。
  論文  参考訳（メタデータ） (2026-07-29T16:06:54Z)
• MemSyco-Bench: Benchmarking Sycophancy in Agent Memory [32.49512092540906]
  MemSyco-Benchは、エージェントシステムにおけるメモリ誘起性を評価するためのベンチマークである。 MemSyco-Benchは、いつメモリが決定に影響を及ぼすか、どのように有効なメモリを使用するかを測定する。
  論文  参考訳（メタデータ） (2026-07-01T15:30:33Z)
• MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
  我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。 我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。 私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
  論文  参考訳（メタデータ） (2026-06-23T13:52:46Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)
• How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior [65.70584076918679]
  メモリは、大きな言語モデル(LLM)ベースのエージェントにおいて重要なコンポーネントである。 本稿では,メモリ管理の選択がLLMエージェントの行動,特に長期的パフォーマンスに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-05-21T22:35:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。