論文の概要: ConMem: Counterfactual Multi-Scenario Probing for Resolving LLM Memory Misalignment
- arxiv url: http://arxiv.org/abs/2610.33432v1
- Date: Sat, 24 Oct 2026 04:16:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.327188
- Title: ConMem: Counterfactual Multi-Scenario Probing for Resolving LLM Memory Misalignment
- Title(参考訳): ConMem: LLMメモリのミス修正のための非現実的マルチシナリオ探索
- Abstract要約: 既存の記憶はしばしば、過度に一般化された、誤解された、またはプライバシーに敏感な情報を保存、保持、取得する。
本稿では,ConMemを提案する。ConMemは,保持決定を予測的因果推論として再構成するアルゴリズムである。
実験の結果、ConMemは75.16%の精度、64.15%のバランスの取れた精度、65.31%のマクロF1という他の手法よりも優れていた。
- 参考スコア(独自算出の注目度): 8.030731003237138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term memory is critical for autonomous Large Language Model (LLM) agents executing multi-session, long-horizon tasks. However, existing memories often inappropriately store, retain, or retrieve over-generalized, misattributed, or privacy-sensitive information, a problem we term memory misalignment. To study this problem, we construct \textbf{MemAlign}, a benchmark comprising 1,079 curated memory cases grounded in synthetic, validated multi-session conversational contexts covering diverse misalignment taxonomies. We then propose ConMem, an algorithm that reframes retention decisions as prospective counterfactual causal inference. \textbf{ConMem} synthesizes counterfactual interaction scenarios to prospectively audit downstream intervention effects across three aspects: relevant task execution, irrelevant invariance checks, and risk-sensitive boundary shifts. Experiments show that ConMem outperforms other methods, achieving 75.16\% accuracy, 64.15\% balanced accuracy, and a Macro-F1 of 65.31\%, effectively mitigating over-retention biases without sacrificing personalization utility.
- Abstract(参考訳): 長期記憶は、マルチセッション、ロングホライゾンタスクを実行する自律型大規模言語モデル(LLM)エージェントにとって重要である。
しかし、既存の記憶はしばしば、過度に一般化された、不正に配布された、またはプライバシーに敏感な情報を保存、保持、取得する。
そこで本研究では, 多様なミスアライメント分類を網羅した, 合成, 検証された多セッション会話コンテキストを基礎とした 1,079 個のメモリケースからなるベンチマークである \textbf{MemAlign} を構築した。
次に,ConMemを提案する。ConMemは,保持決定を予測的因果推論として再構成するアルゴリズムである。
\textbf{ConMem} は、関連するタスクの実行、無関係な不変性チェック、リスクに敏感な境界シフトという3つの側面にわたる下流介入効果を前向きに監査するために、対実的な相互作用シナリオを合成する。
実験の結果、ConMemは75.16.%の精度、64.15.%のバランスの取れた精度、65.31.%のマクロF1を達成し、パーソナライズユーティリティを犠牲にすることなく、事実上過剰保持バイアスを軽減していることがわかった。
関連論文リスト
- MemBubble: Benchmarking How Agent Memory Shapes LLM Response Diversity [69.32957637697743]
メモリはLLMベースのエージェントのコアコンポーネントとして機能し、過去のインタラクションからユーザの好みを抽出して使用することでパーソナライズされた応答を可能にする。
既存の評価は合成相互作用に大きく依存しており、メモリシステムが少ないため、実際のシナリオではメモリの応答の多様性が不十分である。
MemBubbleは、実際のユーザ・アシスタント・会話から抽出された好みに基づいて構築された1000インスタンスのベンチマークである。
メモリが応答分布に集中する範囲を計測するために、共有された嗜好カテゴリを通してトピック関連性を保持しながら、ユーザの嗜好とは異なるシナリオでテストクエリを構築する。
論文 参考訳(メタデータ) (2026-10-18T09:17:44Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳(メタデータ) (2026-07-14T15:33:44Z) - Beyond Similarity: Trustworthy Memory Search for Personal AI Agents [25.265839311088516]
個人AIエージェントにおける信頼境界としてのメモリ探索について検討する。
MemGateは、信頼性の高いメモリ検索のための軽量でデプロイ可能なメモリプラグインである。
論文 参考訳(メタデータ) (2026-06-04T11:54:29Z) - Meta-Cognitive Memory Policy Optimization for Long-Horizon LLM Agents [13.846550145896314]
メモリ拡張LDMエージェントは、相互作用軌跡をコンパクトメモリに要約することにより、複雑な長距離タスクに対処する。
既存のアプローチでは、結果に基づく強化学習を使用してこれらのメモリポリシーをトレーニングし、中間メモリ品質が低下する場所のローカライズに失敗する。
メモリ最適化は、単なる軌道レベルの成功ではなく、中間要約によって引き起こされる信念の明確さに焦点をあてるべきである。
論文 参考訳(メタデータ) (2026-05-28T16:17:19Z) - MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems [69.06764269022925]
本研究では,現在の記憶増強剤が現実的,干渉重大,長期的設定において果たす役割について検討する。
MINTEvalは、頻繁に更新される情報を備えた、長く高度に相互接続されたコンテキストを特徴とするベンチマークである。
MINTEvalは128.8kのトークンを平均で1インスタンスあたり1.8Mのトークンに拡張し、15.6kの質問応答ペアを持つ。
論文 参考訳(メタデータ) (2026-05-18T15:43:35Z) - Causal Intervention-Based Memory Selection for Long-Horizon LLM Agents [0.33842793760651557]
制御された介入の下で,候補記憶がモデル応答に与える影響を推定する因果記憶選択手法を提案する。
以上の結果から,CMIは,信頼性の高い長期記憶には関連性のみではなく,因果的有用性に基づくコンテキスト選択が必要であることが示唆された。
論文 参考訳(メタデータ) (2026-05-17T20:21:55Z) - Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。
最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
論文 参考訳(メタデータ) (2026-05-14T20:15:22Z) - CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs [62.116710797795314]
大規模言語モデル(LLM)は、パーソナライゼーションとタスクパフォーマンスを向上させるために、過去のインタラクションから永続的なメモリを使用することが多い。
タスクコンテキストに基づいて,LLMがメモリからの情報フローを適切に制御するかどうかを評価するベンチマークであるCIMemoriesを提案する。
論文 参考訳(メタデータ) (2025-11-18T21:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。