論文の概要: MemDerive: A Diagnostic Benchmark for Agent Memory over Evolving Data

• arxiv url: http://arxiv.org/abs/2610.25373v1
• Date: Sun, 18 Oct 2026 16:24:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:01:52.387932
• Title: MemDerive: A Diagnostic Benchmark for Agent Memory over Evolving Data
• Title（参考訳）: MemDerive: 進化するデータに対するエージェントメモリの診断ベンチマーク
• Abstract要約: 進化するデータに対するエージェントメモリの診断ベンチマークであるMemDeriveを提案する。 10のシナリオには4,692のイベントと1,503のクエリが含まれている。 4つのメモリシステムに対する評価では、最終回答ベンチマークが隠している障害が明らかになる。
• 参考スコア（独自算出の注目度）: 33.460756132131195
• License:
• Abstract: Long-running agents rely on memory of their past interactions for task state, such as what has been completed and which conditions still hold. Such state is usually a derived state. No record states it, and it must be computed by rules from multiple records of an evolving history. Existing memory benchmarks score only the final answer, with no reference for the intermediate states behind it. A wrong answer therefore cannot be traced to the state that was missed, and a state that silently became outdated goes undetected. We present MemDerive, a diagnostic benchmark for agent memory over evolving data. It specifies each scenario symbolically, derives exact gold answers with Datalog, records the gold derivation DAG and the supporting events of every query, and renders the history in natural language with fictional entities and distractors. Its 10 scenarios contain 4,692 events and 1,503 queries whose difficulty varies along access, evolution, and composition. On this ground truth, MemDerive evaluates answer reliability, diagnoses failures by probing the nodes of the gold derivation DAG, and tracks whether answers stay correct as events arrive. Our evaluation of four memory systems reveals failures that final-answer benchmarks hide. On derived state, every memory system falls behind simple BM25 retrieval, although the same answer model reaches 96.01% when given the supporting events. Most failures are ungathered, as a system holds the missing intermediate state but does not retrieve it for the question that needs it. Memory systems also rarely propagate implicit changes, which no new record states. These results suggest three principles for memory design. Gather inputs along the derivation, store rules with their versions, and maintain derived states through recorded dependencies.
• Abstract（参考訳）: 長期にわたるエージェントは、完了した状態やどの条件がまだ保持されているかなど、過去のインタラクションのメモリに依存している。 このような状態は通常、派生状態である。 記録には記録がなく、進化した歴史の複数の記録の規則によって計算されなければならない。 既存のメモリベンチマークは最終回答のみをスコアし、背後にある中間状態への参照はない。 したがって、間違った答えは見逃された状態まで辿ることができず、静かに時代遅れになった状態は検出されない。 進化するデータに対するエージェントメモリの診断ベンチマークであるMemDeriveを提案する。 それぞれのシナリオを象徴的に定義し、Datalogで正確なゴールドの回答を導き、すべてのクエリのゴールドの派生DAGとサポートイベントを記録し、架空のエンティティとイントラクタで自然言語で歴史を表現します。 10のシナリオには4,692のイベントと1,503のクエリが含まれている。 この根拠として、MemDeriveは回答の信頼性を評価し、金派生DAGのノードを探索して失敗を診断し、イベントが到着した時点で回答が正しいかどうかを追跡する。 4つのメモリシステムに対する評価では、最終回答ベンチマークが隠している障害が明らかになる。 派生状態では、全てのメモリシステムは単純なBM25検索に遅れるが、同じ応答モデルはサポートイベントが与えられたときに96.01%に達する。 システムが不足している中間状態を保持するため、ほとんどの障害は収集されないが、必要な問題のために取り出すことはできない。 メモリシステムは暗黙的な変更を伝播することは滅多にない。 これらの結果はメモリ設計の3つの原則を示唆している。 派生に沿って入力を取得し、それらのバージョンでルールを格納し、記録された依存関係を通じて派生状態を維持する。

関連論文リスト

• Test-Time Memory Construction [50.916768004131505]
  大きな言語モデル(LLM)は、長いインタラクション履歴に関する質問に答えるのに苦労しています。 既存のメモリシステムは通常、ユーザクエリが観測される前に、オフラインで洗練されたメモリ表現を構築し維持する。 テスト時間メモリ構築フレームワークであるT$2$Memを提案する。
  論文  参考訳（メタデータ） (2026-10-09T10:24:51Z)
• Event-Centric Memory with Query-Aware Graph Augmentation for Long-Term Conversational Agents [51.804747364500344]
  本稿では,人間の記憶を動機とした新しいメモリ構築とアクティベーションフレームワークQGMemを提案する。 QGMemは、長い対話履歴を個々の体験を保存するイベントインデックス化された原子記憶ユニットに変換する。 検索,マルチホップエビデンス構成,コンフリクト解決,コンパクトな文脈による超長文対話推論において,一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-10-08T13:17:59Z)
• Can Agent Memory Systems Track Evolving State? [19.24558136812374]
  我々は、効果的なメモリシステムは世界の進化状態を追跡する必要があると主張している。 事実、制約、決定が長い相互作用によって修正されるため、答えは現在の状態を反映し、過小評価されるものではない。 この機能をステートトラッキングとして定義し、StateMemBenchでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-20T05:41:23Z)
• MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
  ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。 長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
  論文  参考訳（メタデータ） (2026-07-14T15:33:44Z)
• A-TMA: Decoupling State-Aware Memory Failures in Long-Term Agent Memory [7.7803190371583]
  我々は,記憶バンク内に共存する古い,現在の,遷移の事実が検索中に混在している状態調整障害であるemphghostメモリについて検討し,その解答モデルを誤導する。 我々は,既存のメモリシステムのための状態認識オーバレイであるATMAを提案する。ATMAは,銀行内における過大評価とトランジションの記録を保持し,現在,歴史,およびトランジションラベルをQAに公開する。
  論文  参考訳（メタデータ） (2026-07-02T09:28:29Z)
• MemTrace: Probing What Final Accuracy Misses in Long-Term Memory [39.696350769003104]
  測定単位が知識点であるベンチマークであるMemTraceを紹介する。 MemTraceは3つの制御された次元に沿って各事実を探索する。 同様にプールされた精度は、異なる失敗を隠すことに気付きます。
  論文  参考訳（メタデータ） (2026-06-15T22:21:23Z)
• WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
  マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。 既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。 マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
  論文  参考訳（メタデータ） (2026-05-28T04:27:20Z)
• Is Agent Memory a Database? Rethinking Data Foundations for Long-Term AI Agent Memory [3.263386002412657]
  長時間稼働するAIエージェントは永続的なメモリを必要とする。 現在のエージェントメモリシステムとデータベースパラダイムはメモリを記憶として扱う。 私たちのビジョンでは、長期エージェントメモリは新しいデータ管理ワークロードです。
  論文  参考訳（メタデータ） (2026-05-25T18:22:42Z)
• Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
  本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。 最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
  論文  参考訳（メタデータ） (2026-05-14T20:15:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。