論文の概要: UTILMEM: Benchmarking Evidence Utilization in Long-Term Conversational Memory
- arxiv url: http://arxiv.org/abs/2608.30508v1
- Date: Mon, 31 Aug 2026 09:41:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.332765
- Title: UTILMEM: Benchmarking Evidence Utilization in Long-Term Conversational Memory
- Title（参考訳）: UTILMEM:長期会話記憶におけるエビデンス利用のベンチマーク
- Abstract要約: メモリ使用率を評価するための診断ベンチマークであるUtilMemを紹介する。
従来のファクトメモリベンチマークの強い性能は、有効メモリ利用に確実に変換されないことが判明した。
これらの知見は,記憶されている情報へのアクセスと有効利用との間に大きなギャップを生じさせ,長期の会話記憶の進歩には,検索妨害に対する証拠統合と堅牢性を明確に支援するアーキテクチャが必要であることを示唆している。
- 参考スコア（独自算出の注目度）: 32.625416782173204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-term memory is increasingly important for conversational agents, yet existing benchmarks primarily measure memory through pointwise factual recall: whether a system can recover isolated facts or event-level details from prior interactions. Real-world memory use, however, often requires a more demanding capability: integrating distributed, implicit, and noisy evidence across extended interaction histories into coherent, task-oriented outputs. We call this capability memory utilization. Here, we introduce UtilMem, a diagnostic benchmark comprising 1,717 instances across five domains, designed to evaluate four underexplored aspects of memory utilization: reasoning over dense histories, identifying implicitly relevant memories, synthesizing distributed evidence into summaries, analyses, or plans, and resisting interference from semantically similar distractors. Evaluating a diverse set of retrieval-based and memory-augmented systems, we find that strong performance on conventional factual-memory benchmarks does not reliably translate into effective memory utilization. Moreover, retrieval alone is insufficient: even when relevant evidence is successfully recovered, systems frequently fail to integrate information across sessions or to distinguish useful evidence from plausible distractors. These findings expose a substantial gap between accessing stored information and using it effectively, and suggest that progress in long-term conversational memory will require architectures that explicitly support evidence integration and robustness to retrieval interference. Code is available at https://github.com/peijunallin/UtilMem.
- Abstract（参考訳）: 会話エージェントにとって長期記憶はますます重要になるが、既存のベンチマークは主にポイントワイドのファクトリコールを通じてメモリを測定する。
分散的、暗黙的、ノイズの多いエビデンスを、拡張されたインタラクション履歴にまとめて、一貫性のあるタスク指向のアウトプットに統合する。
これをメモリ使用率と呼びます。
本稿では,5つの領域にわたる1,717のインスタンスからなる診断ベンチマークUtilMemを紹介し,メモリ利用の過小評価を行う。
検索ベースおよびメモリ拡張システムの多種多様な集合を評価すると、従来の実メモリベンチマークの強い性能がメモリ有効利用に確実に変換されないことが分かる。
さらに、検索だけでは不十分であり、たとえ関連する証拠が回復したとしても、システムはセッション間で情報を統合したり、有効な証拠を妥当な邪魔者から区別するのに失敗する。
これらの知見は,記憶されている情報へのアクセスと有効利用との間に大きなギャップを生じさせ,長期の会話記憶の進歩には,検索妨害に対する証拠統合と堅牢性を明確に支援するアーキテクチャが必要であることを示唆している。
コードはhttps://github.com/peijunallin/UtilMem.comで入手できる。
関連論文リスト
- MemFuse: Multi-Source Memory Fusion from Fragmented Observations [32.62990579442196]
マルチソースメモリ融合のベンチマークである**MemFuseBench*を紹介します。
MemFuseBenchはScene-to-Sensorパイプラインで構築されており、制御可能なシナリオをソースタグ付き観測、エビデンス付き質問、敵の注意散らしに合成する。
我々は,イベント層原子メモリにおけるソースレベルの証拠を保存し,関連する原子イベントを因果グラフ内のクラスタ層融合メモリに整理する構造化メモリシステム**MemFuse*を提案する。
論文 参考訳（メタデータ） (2026-08-19T09:04:07Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳（メタデータ） (2026-07-14T15:33:44Z) - RaMem: Contextual Reinstatement for Long-term Agentic Memory [21.228780482661076]
本稿では,検索したメモリフラグメントを文脈的エビデンスに変換するフレームワークであるAgenic Memory (RaMem) について述べる。
ラメムは4つの調整された段階を経る: (i) それぞれの記憶を元のエピソード条件、特にイベント時間、参照時間、セッションスパンおよび参加者に固定する証拠 (ii) 記憶条件誘導は、クエリによって入力されたエビデンス条件を導出する; (iii) 妥当性認識検索は、これらの条件を使用して、コンテンツ関連候補をフォールバック証拠として保持しながら、コンテキスト互換な記憶を優先順位付けする; (iv) コンテキスト保存合成は、選択された記憶の構造化されたコンテキストをジェネレータに保持する。
論文 参考訳（メタデータ） (2026-06-22T04:41:14Z) - REAL: A Reasoning-Enhanced Graph Framework for Long-Term Memory Management of LLMs [17.526686616588794]
大きな言語モデル(LLM)は、長い時間をかけてユーザーと対話することがますます期待されている。
LLMは過去のすべてのインタラクションを保持することができず、履歴情報の保存、更新、検索には長期記憶管理が不可欠である。
REALは長期会話記憶を時間的かつ信頼性に配慮したプロパティグラフとして構成する。
論文 参考訳（メタデータ） (2026-06-09T10:53:10Z) - WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。
既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。
マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
論文 参考訳（メタデータ） (2026-05-28T04:27:20Z) - MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models [56.31411457917676]
本稿では,メモリ構築と検索において,機能的メモリ境界を保存するタイプアウェアメモリフレームワークであるMemGuardを紹介する。
幻覚と長期会話のベンチマーク全体で、MemGuardはメモリの信頼性を最大28.27%向上し、メモリトークンは以前の方法より5.8倍少ない。
論文 参考訳（メタデータ） (2026-05-27T06:04:19Z) - MemConflict: Evaluating Long-Term Memory Systems Under Memory Conflicts [19.9199366981741]
本稿では,メモリの妥当性をクエリ条件付きフィットネス・フォー・ユース問題として扱う診断フレームワークを提案する。
MemConflictは、時間的妥当性、事実的正確性、文脈的適用性に関する動的、静的、条件的衝突を形式化する。
構造化されたユーザプロファイルから制御されたロングホライズン履歴をシミュレートし、クロスセッションコンフリクトを導入し、セマンティックに類似したイントラクタを注入して、メモリ候補間の競合を発生させる。
論文 参考訳（メタデータ） (2026-05-20T09:11:04Z) - AdaMem: Adaptive User-Centric Memory for Long-Horizon Dialogue Agents [49.63422082885992]
長軸対話エージェントのための適応型ユーザ中心メモリフレームワークであるAdaMemを提案する。
AdaMemは対話履歴をワーキング、エピソディック、ペルソナ、グラフメモリに整理する。
LoCoMo と PERSONAMEM ベンチマーク上での AdaMem の評価を行った。
論文 参考訳（メタデータ） (2026-03-17T13:22:54Z) - MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。
マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。
MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
論文 参考訳（メタデータ） (2026-02-18T09:49:14Z) - MemWeaver: Weaving Hybrid Memories for Traceable Long-Horizon Agentic Reasoning [26.119505362626338]
本稿では,長期エージェント体験を3つの相互接続コンポーネントに集約する統合メモリフレームワークを提案する。
MemWeaverは、構造化された知識を共同で検索し、エビデンスをサポートし、コンパクトで情報密度の高いコンテキストを構築するデュアルチャネル検索戦略を採用している。
論文 参考訳（メタデータ） (2026-01-26T06:39:27Z) - Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。
以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
論文 参考訳（メタデータ） (2025-10-27T18:03:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。