論文の概要: EvalMem: An Operation-Level Diagnostic Framework for Long-Term Memory Systems
- arxiv url: http://arxiv.org/abs/2609.22231v1
- Date: Thu, 03 Sep 2026 04:20:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.796272
- Title: EvalMem: An Operation-Level Diagnostic Framework for Long-Term Memory Systems
- Title（参考訳）: EvalMem: 長期記憶システムのための操作レベル診断フレームワーク
- Abstract要約: EvalMemは3つの並列抽出器を備えた操作レベル診断フレームワークである。
各クエリに対して、Examinerは、対象の事実が格納されているかどうかをチェックし、Retrieval Examinerは、ネイティブレトリバーが有用なエビデンスを返すかどうかを評価し、Generation Examinerは、モデルがオラクルのエビデンスから答えられるかどうかをテストする。
各システムのメモリエクスポートから構築された検索フレンドリーな補助構造であるMemWikiは、それぞれLoCoMoとLongMemEval-Sの平均精度を2.5と2.3%向上させる。
- 参考スコア（独自算出の注目度）: 14.771155685484173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-horizon interactions with LLM-based assistants require memory systems that preserve and update user states, preferences, and interaction histories. Existing evaluations report end-to-end QA accuracy and cannot determine whether errors arise from encoding, retrieval, or generation. We introduce EvalMem, an operation-level diagnostic framework with three parallel Examiners. For each query, the Encoding Examiner checks whether the target fact is stored, the Retrieval Examiner assesses whether the native retriever returns usable evidence, and the Generation Examiner tests whether the model can answer from oracle evidence. Their outputs form fine-grained multi-label defect codes. To improve store-level diagnosis, we adapt agentic RAG with a recall-first strategy that searches using both the query and source evidence, increasing recall of present evidence on LoCoMo from 70.2% to 95.6%. Evaluations of seven memory systems on LoCoMo, LongMemEval-S, and dynamic DynaMem-Bench identify retrieval as the most frequently attributed failure layer; in default LoCoMo, retrieval defects reach 22.1%, compared with 7.7% for encoding and 6.5% for generation. Guided by this diagnosis, MemWiki, a search-friendly auxiliary structure built from each system's memory export, improves mean accuracy by 2.5 and 2.3 percentage points on LoCoMo and LongMemEval-S, respectively.
- Abstract（参考訳）: LLMベースのアシスタントとの長い水平相互作用は、ユーザー状態、好み、インタラクション履歴を保存および更新するメモリシステムを必要とする。
既存の評価では、エンドツーエンドのQA精度を報告し、エンコーディング、検索、生成からエラーが発生するかどうかを判断できない。
EvalMemは3つの並列抽出器を備えた操作レベル診断フレームワークである。
それぞれのクエリに対して、Encoding Examinerはターゲットの事実が保存されているかどうかをチェックし、Retrieval Examinerはネイティブレトリバーが有効な証拠を返すかどうかを評価し、Generation Examinerはモデルがオラクルの証拠から答えられるかどうかをテストする。
彼らの出力は、きめ細かい多重ラベル欠陥コードを形成する。
店頭レベルでの診断を改善するために,クエリとソースエビデンスの両方を用いて検索するリコールファースト戦略でエージェントRAGを適用し,LoCoMoに関する現在のエビデンスを70.2%から95.6%に増やした。
LoCoMo、LongMemEval-S、動的DynaMem-Bench上の7つのメモリシステムの評価では、検索は最も頻繁に帰属する障害層であり、デフォルトのLoCoMoでは、検索欠陥が22.1%に達し、エンコーディングは7.7%、生成は6.5%である。
この診断でガイドされたMemWikiは、各システムのメモリエクスポートから構築された検索フレンドリーな補助構造であり、それぞれLoCoMoとLongMemEval-Sの平均精度を2.5と2.3%向上させる。
関連論文リスト
- VibeMemBench: Evaluating Memory Systems for Coding Agents on Real Repository Coding Tasks [74.71365175490853]
我々は90のSWE-rebench V2レポジトリから111のコーディングターゲットのメモリシステムを評価するベンチマークであるVibeMemBenchを紹介する。
ターゲットはSWEベンチマークスタイルに従い、バグ修正、機能要求、インターフェースの変更、設定作業をカバーする。
ダイレクトインジェクションは、4つのタスクの解像度を1.1から4.5ポイント引き上げ、エージェントステップを5つに下げる。しかし、4つの既存のメモリシステムが同じ履歴から経験を構築・取得しなければならない場合、12のソルバのうち11のシステムペアリングは一致したメモリオフベースラインを超えない。
論文 参考訳（メタデータ） (2026-09-20T11:44:03Z) - D$^2$ACCI: A Dual-Loop Diagnostic Protocol for Evidence-Preserving Agent Memory [10.177699115336425]
D$2$ACCIプロトコルは、ペア化されたエビデンス、保護されたスライス監視、トレースレベルのローカライズ可能性に基づいて、メモリ介入を促進、機能フラグ、拒否する。
我々はMemStackでプロトコルをインスタンス化し、3つの公開ベンチマークで評価し、LoCoMoで93.59%、LongMemEvalで90.93%、PersonaMem-V2で57.20%を達成した。
論文 参考訳（メタデータ） (2026-08-18T13:18:38Z) - Leveraging Resolved Incident History for LLM-Assisted Software Bug Diagnosis [0.3697506689572711]
現在の検索拡張生成アプローチは、一方または両方の次元で不足する。
本稿では,OM-RAG(Operational Memory RAG)を提案する。
OM-RAGは,運用用のDataverseインスタンスを6ヶ月以上運用した,汎用的な大規模言語モデル(LLM)管理者を運用している。
論文 参考訳（メタデータ） (2026-07-24T02:33:14Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳（メタデータ） (2026-07-14T15:33:44Z) - MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。
我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。
私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
論文 参考訳（メタデータ） (2026-06-23T13:52:46Z) - Accurate and Efficient Long-Term Memory for LLM Agents [8.441856252027652]
LLMエージェントのための構造化・コンフリクト対応長期記憶フレームワークMOSAICを提案する。
MOSAICは、意味分類付きエンティティ型グラフストレージ、ハッシュアクセラレーションされたデュアルパス検索、アクティブコンフリクト検出の3つの主要な機能を導入している。
LoCoMo (long-conversation QA), HaluMem, and a new clinical-guideline error compounding test。
論文 参考訳（メタデータ） (2026-05-15T02:21:45Z) - LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues [80.29362825271768]
LongMemEval-V2は、メモリシステムが、カスタマイズされた環境で知識のある同僚になるために必要な経験を得るのに役立つかどうかを評価するためのベンチマークである。
LME-V2には、Webエージェントの5つのコアメモリ能力をカバーする451の質問が含まれている。
AgentRunbook-Rは生の状態観察,イベント,戦略ノートのための知識プールを備えた,効率的なRAGベースのメモリであり,AgentRunbook-Cはトラジェクトリをファイルとして格納し,コードエージェントを起動して,拡張サンドボックスに証拠を収集する。
論文 参考訳（メタデータ） (2026-05-12T17:59:34Z) - EviMem: Evidence-Gap-Driven Iterative Retrieval for Long-Term Conversational Memory [19.027571478872]
IRIS(Iterative Retrieval via Insufficiency Signals)とLaceMem(Layered Architecture for Conversational Evidence Memory)を組み合わせたEviMemを提案する。
LoCoMoでは、EviMemは、時間(73.3%から81.6%)とマルチホップ(65.9%から85.2%)の質問を4.5倍のレイテンシでMIRIXよりも精度を向上させる。
論文 参考訳（メタデータ） (2026-04-30T10:37:04Z) - AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。
AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
論文 参考訳（メタデータ） (2026-01-28T08:09:49Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。