論文の概要: MemForm: Benchmarking Memory Formation Poisoning in LLM Agents
- arxiv url: http://arxiv.org/abs/2610.14431v1
- Date: Sat, 10 Oct 2026 00:52:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 21:33:59.27313
- Title: MemForm: Benchmarking Memory Formation Poisoning in LLM Agents
- Title（参考訳）: MemForm: LLMエージェントにおけるメモリ生成のベンチマーク
- Abstract要約: 長期記憶は、エージェントが過去の相互作用から学習することを可能にするが、メモリ形成を敵の影響に晒す。
既存の研究は、主に攻撃チャネル、汚職パターン、ライフサイクルステージによるメモリ中毒を組織化している。
我々は、永続的なエージェントメモリが生成され、コミットされるインタフェースの逆操作としてメモリ生成ポジショニングを定式化する。
- 参考スコア（独自算出の注目度）: 20.483102896160307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term memory enables LLM agents to learn from past interactions but exposes memory formation to adversarial influence. Existing studies primarily organize memory poisoning by attack channels, corruption patterns, or lifecycle stages, leaving formation interfaces insufficiently characterized. We formulate Memory Formation Poisoning as adversarial manipulation of the interfaces through which persistent agent memory is produced and committed, and introduce MemForm, a controlled diagnostic benchmark covering five interfaces: Content, Evidence, Scope, Selection, and Path Poisoning. We introduce Selection and Path Poisoning as controlled intervention categories that isolate retention and consolidation order effects, respectively. Each category pairs clean and poisoned conditions with interface-specific controls. Evaluations across six LLMs and two response formats reveal broad susceptibility at all five interfaces under the evaluated memory protocols and implementations. Crucially, authentic experiences with successful outcomes do not guarantee reliable behavior after memory formation: changes to contextual support, retention, or consolidation order can induce undesirable downstream behavior. In particular, consolidation order can alter behavior even with identical retained experiences, depending on the memory formation procedure. Additional analyses show that interface applicability depends on memory architecture and that Path Poisoning susceptibility depends on the updater. The evaluated defenses provide incomplete mitigation that varies by interface. These findings motivate protecting both what is committed to persistent memory and how memory is formed from experiences. Code and data are available at https://github.com/opanhw/memform-code.
- Abstract（参考訳）: 長期記憶は、LLMエージェントが過去の相互作用から学習することを可能にするが、メモリ形成を敵の影響に晒す。
既存の研究は、主に攻撃チャネル、腐敗パターン、ライフサイクルステージによるメモリ中毒を組織化し、形成インターフェースが不十分なまま残されている。
本稿では,永続的エージェントメモリを生成・コミットするインタフェースの逆操作としてメモリ生成ポジショニングを定式化し,コンテンツ,エビデンス,スコープ,選択,パスポジショニングの5つのインターフェースをカバーする,制御された診断ベンチマークであるMemFormを紹介する。
我々は,保持と統合順序効果をそれぞれ分離する制御された介入カテゴリとして,選択と経路中毒を紹介した。
各カテゴリは、インターフェース固有のコントロールを備えたクリーンで有毒な条件をペアリングする。
6つのLCMと2つの応答フォーマットで評価した結果、評価されたメモリプロトコルと実装の下では5つのインターフェースすべてに対して幅広い感受性が示される。
重要なことに、成功した結果に対する真正な経験は、記憶形成後の信頼性の高い行動を保証するものではない: 文脈的サポート、保持、統合秩序の変更は、望ましくない下流の行動を引き起こす。
特に、コンソリデーション順序は、メモリ生成手順に応じて、同一の保持された経験であっても振る舞いを変えることができる。
追加の分析では、インタフェースの適用性はメモリアーキテクチャに依存し、パスポジショニングの感受性は更新子に依存している。
評価された防御は、インターフェースによって異なる不完全な緩和を提供する。
これらの発見は、永続記憶にコミットするものと、経験からメモリがどのように形成されるかの両方を保護する動機となっている。
コードとデータはhttps://github.com/opanhw/memform-code.comで公開されている。
関連論文リスト
- Probing Stability-Plasticity Tradeoffs in Agent Memory through Cognitive Experimental Paradigms [7.9855125856736775]
現在の評価では、メモリの挙動を最終回答精度に分解する。
MemProbeは認知科学に触発された、エージェントメモリにおける安定性と塑性のトレードオフを診断するためのフレームワークである。
論文 参考訳（メタデータ） (2026-09-24T21:10:36Z) - Understanding Stage-Wise Utility-Risk Trade-offs in LLM Agent Memory [21.71796784567462]
より多くの情報を保持し、変換し、公開するメモリメカニズムは、良性の有用性と、メモリ中毒に対する感受性の両方に影響を与える可能性がある。
本報告では, 毒性条件下での書込み, 管理方針, 検索露出を別々に変化させる制御可能なフレームワークであるtextscMemGaugeについて述べる。
論文 参考訳（メタデータ） (2026-08-31T02:57:08Z) - FocusMem: Factorizing Content, Readout, and Trust in Latent GUI Memory [13.853612752899442]
コンパクトな潜在メモリインタフェース内での責務を分離するFocusMemを紹介する。
ロールアウェアコンテンツベースは、タスクの進捗を維持するために、エピソードメモリが再利用可能なエクスペリエンスと作業メモリを維持することを奨励する。
状態条件付き読み出しは、同じ記憶されたエビデンスの決定固有のビューを生成し、一方、軽量な信頼ゲートは、現在のステップとは無関係に見えるメモリブロックを抑えることができる。
論文 参考訳（メタデータ） (2026-08-05T07:02:30Z) - Salami Attack: Stealthy Collusive Memory Poisoning against OpenClaw [15.739441864484098]
衝突性メモリ中毒攻撃を自動で構築するフレームワークであるMemCollusionを紹介する。
MemCollusionは4つの設計制約、5つの理論インフォームド戦略、微調整されたジェネレータを使ってメモリアライアンスを構築する。
MemCollusionは平均メモリセーブレート81.3%、アタック成功率75.0%を達成し、良質なメモリ希釈とメモリレベルの防御の両方で有効である。
論文 参考訳（メタデータ） (2026-08-03T03:17:26Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳（メタデータ） (2026-07-15T08:32:40Z) - MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。
MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
論文 参考訳（メタデータ） (2026-06-09T11:53:25Z) - MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models [56.31411457917676]
本稿では,メモリ構築と検索において,機能的メモリ境界を保存するタイプアウェアメモリフレームワークであるMemGuardを紹介する。
幻覚と長期会話のベンチマーク全体で、MemGuardはメモリの信頼性を最大28.27%向上し、メモリトークンは以前の方法より5.8倍少ない。
論文 参考訳（メタデータ） (2026-05-27T06:04:19Z) - MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory [80.97855900579512]
既存の評価では、エージェントが後続の推論に必要な視覚的証拠を保存するかどうかを検査することはめったにない。
メモリ性能を2次元から評価するフレームワークであるMemEyeを紹介する。
本フレームワークでは,8つのライフシナリオタスクにまたがる新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2026-05-14T17:37:52Z) - The Trap of Trajectory: Towards Understanding and Mitigating Spurious Correlations in Agentic Memory [7.707732051915869]
エージェントメモリシステムの診断では、メモリはクリーンな入力の推論を改善するが、それらが存在するときのスプリアスパターンへの依存を増幅する。
本稿では,CAMELを提案する。CAMELは,書き込み時間と検索時間の両方で,多様なメモリアーキテクチャ間で動作可能な,プラグアンドプレイキャリブレーション方式である。
全体として、CAMELはより信頼性の高いエージェントメモリデプロイメントに対して、原則的で軽量なソリューションを提供する。
論文 参考訳（メタデータ） (2026-05-10T05:04:13Z) - MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents [78.95081012334116]
永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。
汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。
MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
論文 参考訳（メタデータ） (2026-04-17T07:29:52Z) - Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。
視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
論文 参考訳（メタデータ） (2025-11-26T18:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。