論文の概要: AgentMemBench: A Systematic Benchmark for Evaluating Long-Term Memory Management Strategies in Conversational AI Agents

• arxiv url: http://arxiv.org/abs/2608.00009v1
• Date: Tue, 16 Jun 2026 08:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.14073
• Title: AgentMemBench: A Systematic Benchmark for Evaluating Long-Term Memory Management Strategies in Conversational AI Agents
• Title（参考訳）: AgentMemBench:会話型AIエージェントの長期記憶管理戦略を評価するためのシステムベンチマーク
• Abstract要約: 長期記憶は会話型AIエージェントにとって重要なボトルネックである。 本稿では,5つのメモリ管理戦略を評価するベンチマークであるAgentMemBenchを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term memory remains a critical bottleneck for conversational AI agents, whose finite context windows cannot support coherent recall across thousands of turns. We present AgentMemBench, a unified, reproducible benchmark evaluating five memory management strategies under identical conditions: in-context windowing (ICW), external key-value store (EKV), graph-based episodic memory (GEM), compression-based summarisation (CBS), and web-augmented memory (WAM). All are assessed across three public datasets covering long-term multi-session dialogue (LoCoMo), task-oriented document grounding (MultiDoc2Dial), and persona-grounded multi-session chat (MSC), using Recall@k, MRR, nDCG@k, Answer F1, an LLM-judge Faithfulness score, Memory Footprint, and Latency over 491 annotated question turns. Generation and judging both use Qwen2.5-7B-Instruct (4-bit), with greedy decoding for determinism. Our results show that (1) EKV dominates on every quality axis (macro Recall@5 0.792, MRR 0.677, F1 0.156, Faithfulness 0.354); (2) long-range recall is decisive: on LoCoMo, where the gold turn lies many sessions back, ICW, WAM, GEM, and CBS retrieve almost nothing (Recall@5 <= 0.005) while EKV alone reaches 0.573, showing that recency windows, summaries, and entity graphs collapse at long horizons and only dense retrieval scales; (3) CBS is the runner-up on retrieval (0.556); (4) WAM equals ICW on in-corpus recall by construction, since external results carry no in-corpus provenance; and (5) EKV's recall advantage carries a footprint cost (~5,100 vs ~300 tokens for ICW/WAM), an explicit accuracy-efficiency trade-off. We additionally evaluate two published memory systems (MemGPT/Letta, HippoRAG) against the same harness, and release all code, environment, and result artefacts for full reproducibility.
• Abstract（参考訳）: 長期記憶は会話型AIエージェントにとって重要なボトルネックであり、有限コンテキストウィンドウは数千回にわたるコヒーレントリコールをサポートしない。 In-context windowing (ICW), external key-value store (EKV), graph-based episodic memory (GEM), compression-based summarisation (CBS), web-augmented memory (WAM) の5つのメモリ管理戦略を同一条件下で評価する。 それらは、Recall@k, MRR, nDCG@k, Answer F1, LLM-judge Faithfulness score, Memory Footprint, Latency over 491 annotated question turnを使用する。 生成と判定にはQwen2.5-7B-インストラクト (4-bit) が使用され、決定性にはgreedyデコードを使用する。 以上の結果から,(1)EKVはすべての品質軸(macro Recall@5 0.792, MRR 0.677, F1 0.156, Faithfulness 0.354); (2) 長距離リコールは決定的である: ICW, WAM, GEM, CBSが多くのセッションをバックするLoCoMoでは,ほとんど何も検索しない(Recall@5 <= 0.005)のに対して,EKV単独では0.573に到達し,長い地平線と密集した検索スケールでリレーレンシーウィンドウ,要約,エンティティグラフが崩壊し,(3) CBSは検索(0.556), (4) WAMは外部のコーパスを持たないため,ICWWを内部でリコールする。 さらに、同じハーネスに対して2つの公開メモリシステム(MemGPT/Letta,HippoRAG)を評価し、完全な再現性を得るために、コード、環境、成果物を全てリリースする。

関連論文リスト

• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• memorywire: A Vendor-Neutral Wire Format for Agent Memory Operations [0.0]
  長期的なストレージに入る前に、人間がレビューを書くことができるフレームワークであるMemorywireを紹介します。 5つのバックエンドコンポーネントによるオープンソースリファレンス実装について説明する。 16-scenario cross-adapter conformance suiteは、80細胞中68細胞を無故障で通過する。
  論文  参考訳（メタデータ） (2026-05-31T10:18:56Z)
• WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
  マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。 既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。 マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
  論文  参考訳（メタデータ） (2026-05-28T04:27:20Z)
• MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
  本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。 MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。 MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
  論文  参考訳（メタデータ） (2026-05-20T07:25:33Z)
• MemMachine: A Ground-Truth-Preserving Memory System for Personalized AI Agents [2.541923091180284]
  大規模言語モデル(LLM)エージェントはパーソナライゼーション、事実連続性、長期的推論を維持するために永続記憶を必要とする。 本稿では,短期,長期,プロファイルメモリを統合したオープンソースのメモリシステムであるMemMachineを紹介する。 MemMachineは、コンテキスト化された検索を使用して、周囲のコンテキストにマッチする核を拡大し、関連するエビデンスが複数の対話にまたがる場合のリコールを改善する。
  論文  参考訳（メタデータ） (2026-04-06T16:57:06Z)
• MemX: A Local-First Long-Term Memory System for AI Assistants [0.0]
  我々は、安定性指向の検索設計を備えたAIのためのローカルファーストの長期記憶システムであるMemXを提案する。 MemXは、libとOpenAI互換の組み込みAPI上にRustで実装されており、会話エージェントに対して永続的で検索可能な、説明可能なメモリを提供する。
  論文  参考訳（メタデータ） (2026-03-17T06:39:54Z)
• HEMA : A Hippocampus-Inspired Extended Memory Architecture for Long-Context AI Conversations [0.0]
  大規模言語モデル(LLM)は、数百回に及ぶ会話におけるコヒーレンスを維持するのに苦労する。 本稿では,人間の認知プロセスにインスパイアされたデュアルメモリシステムであるHEMAを紹介する。 10Kインデックスのチャンクでは、ベクトルメモリはP@5 >= 0.80 と R@50 >= 0.74 を達成し、精度-リコール曲線の下で領域を2倍にする。
  論文  参考訳（メタデータ） (2025-04-23T14:27:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。