論文の概要: MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents
- arxiv url: http://arxiv.org/abs/2604.15774v1
- Date: Fri, 17 Apr 2026 07:29:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.790545
- Title: MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents
- Title(参考訳): MemEvoBench: LLMエージェントにおけるメモリミス進化のベンチマーク
- Authors: Weiwei Xie, Shaoxiong Guo, Fan Zhang, Tian Xia, Xue Yang, Lizhuang Ma, Junchi Yan, Qibing Ren,
- Abstract要約: 永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。
汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。
MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
- 参考スコア(独自算出の注目度): 78.95081012334116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Equipping Large Language Models (LLMs) with persistent memory enhances interaction continuity and personalization but introduces new safety risks. Specifically, contaminated or biased memory accumulation can trigger abnormal agent behaviors. Existing evaluation methods have not yet established a standardized framework for measuring memory misevolution. This phenomenon refers to the gradual behavioral drift resulting from repeated exposure to misleading information. To address this gap, we introduce MemEvoBench, the first benchmark evaluating long-horizon memory safety in LLM agents against adversarial memory injection, noisy tool outputs, and biased feedback. The framework consists of QA-style tasks across 7 domains and 36 risk types, complemented by workflow-style tasks adapted from 20 Agent-SafetyBench environments with noisy tool returns. Both settings employ mixed benign and misleading memory pools within multi-round interactions to simulate memory evolution. Experiments on representative models reveal substantial safety degradation under biased memory updates. Our analysis suggests that memory evolution is a significant contributor to these failures. Furthermore, static prompt-based defenses prove insufficient, underscoring the urgency of securing memory evolution in LLM agents.
- Abstract(参考訳): 永続メモリによる大規模言語モデル(LLM)の取得は、インタラクションの継続性とパーソナライゼーションを促進するが、新たな安全性リスクをもたらす。
具体的には、汚染または偏りのあるメモリ蓄積は、異常なエージェントの挙動を引き起こす可能性がある。
既存の評価手法はまだメモリの誤りを計測するための標準化された枠組みを確立していない。
この現象は、誤解を招く情報への繰り返し露光によって生じる漸進的な行動の漂流を指す。
このギャップに対処するために,LLMエージェントの長期メモリ安全性を評価する最初のベンチマークであるMemEvoBenchを紹介した。
フレームワークは、7つのドメインにわたるQAスタイルのタスクと36のリスクタイプで構成され、ノイズの多いツールリターンを備えた20のAgent-SafetyBench環境から適応されたワークフロースタイルのタスクによって補完される。
どちらの設定も、メモリの進化をシミュレートするために、複数ラウンドの相互作用の中で、良性と誤解を招くメモリプールが混在している。
代表的なモデルによる実験では、バイアスドメモリ更新下での相当な安全性低下が示されている。
我々の分析は、記憶の進化がこれらの失敗に重要な貢献をしていることを示唆している。
さらに、静的なプロンプトベースの防御は不十分であることが証明され、LCMエージェントのメモリ進化の急激さが強調された。
関連論文リスト
- Human-like Working Memory Interference in Large Language Models [13.786393462852395]
作業記憶は人間の推論と知性の基本である。
1000億のニューロンがあるにもかかわらず、生体系と人工系は共にワーキングメモリに制限がある。
動作中のメモリタスクを完璧に解くために、2層トランスフォーマーをトレーニングすることはできるが、様々な事前訓練されたLCMは動作中のメモリ制限を示し続けている。
論文 参考訳(メタデータ) (2026-04-01T17:19:46Z) - MemMA: Coordinating the Memory Cycle through Multi-Agent Reasoning and In-Situ Self-Evolution [52.29303869050117]
メモリ拡張LDMエージェントは、長期の相互作用をサポートするために外部メモリバンクを保持する。
MemMAはプラグアンドプレイのマルチエージェントフレームワークで、前方と後方の両方の経路に沿ってメモリサイクルを調整する。
論文 参考訳(メタデータ) (2026-03-19T10:15:59Z) - Governing Evolving Memory in LLM Agents: Risks, Mechanisms, and the Stability and Safety Governed Memory (SSGM) Framework [18.46738022193615]
長期記憶は、自律型大規模言語モデル(LLM)エージェントの基礎コンポーネントとして登場した。
メモリガバナンス、セマンティックドリフト、プライバシ脆弱性に関する重要な懸念が浮上しました。
本稿では,概念的ガバナンスアーキテクチャであるSSGM(Stable and Safety-Governed Memory)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-12T10:16:52Z) - ActMem: Bridging the Gap Between Memory Retrieval and Reasoning in LLM Agents [14.695250837875454]
本稿では,ActMemと呼ばれる新しい動作可能なメモリフレームワークを提案する。
ActMemは非構造化対話履歴を構造化因果グラフと意味グラフに変換する。
エージェントは暗黙の制約を推論し、過去の状態と現在の意図の間の潜在的な衝突を解決することができる。
論文 参考訳(メタデータ) (2026-02-04T00:54:53Z) - TAME: A Trustworthy Test-Time Evolution of Agent Memory with Systematic Benchmarking [32.57514611558346]
エージェントメモリのテスト時間進化は、AGIを達成するための重要なパラダイムである。
エージェントセーフティアライメントは、エージェントメモリミス進化(Agen Memory Misevolution)と呼ばれる現象に弱いままである。
本稿では,タスク性能を向上させるために,メモリを別途進化させるデュアルメモリ進化フレームワークであるTAMEを提案する。
論文 参考訳(メタデータ) (2026-02-03T07:52:26Z) - Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning [44.94110361062394]
実世界の意思決定は、安定かつ適応性のあるメモリに依存する。
既存の強化学習ベンチマークとメモリ拡張エージェントは、主に保持に焦点を当てている。
部分的な可観測性の下で連続的なメモリ更新を明示的にテストするベンチマークを導入する。
論文 参考訳(メタデータ) (2026-01-21T15:27:23Z) - MemGen: Weaving Generative Latent Memory for Self-Evolving Agents [57.1835920227202]
本稿では,エージェントに人間的な認知機能を持たせる動的生成記憶フレームワークであるMemGenを提案する。
MemGenは、エージェントが推論を通して潜在記憶をリコールし、増大させ、記憶と認知の密接なサイクルを生み出すことを可能にする。
論文 参考訳(メタデータ) (2025-09-29T12:33:13Z) - Memp: Exploring Agent Procedural Memory [72.41472703974935]
LLM(Large Language Models)ベースのエージェントは様々なタスクをこなすが、静的パラメータで手動で設計または絡み合うような不安定なプロシージャメモリに悩まされる。
本稿では,過去のエージェントの軌跡をステップバイステップの細粒度と高レベルなスクリプトライクな抽象化の両方に蒸留するMempを提案する。
メモリレポジトリが洗練されるにつれて、エージェントは着実に高い成功率と類似タスクの効率を達成できることを示す。
論文 参考訳(メタデータ) (2025-08-08T16:20:56Z) - How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior [65.70584076918679]
メモリは、大きな言語モデル(LLM)ベースのエージェントにおいて重要なコンポーネントである。
本稿では,メモリ管理の選択がLLMエージェントの行動,特に長期的パフォーマンスに与える影響について検討する。
論文 参考訳(メタデータ) (2025-05-21T22:35:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。