論文の概要: Memory poisoning and secure multi-agent systems
- arxiv url: http://arxiv.org/abs/2603.20357v1
- Date: Fri, 20 Mar 2026 14:27:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:38.863945
- Title: Memory poisoning and secure multi-agent systems
- Title(参考訳): メモリ中毒と安全マルチエージェントシステム
- Authors: Vicenç Torra, Maria Bras-Amorós,
- Abstract要約: エージェントAIとマルチエージェントシステム(MAS)のメモリ中毒攻撃が最近注目を集めている。
まず,これらのメモリシステムにおけるメモリ障害攻撃の可能性について検討し,その軽減策を提案する。
本稿では,セマンティックメモリに対するメモリ中毒の緩和戦略の例として,プライベート知識検索に基づく局所推論を実装することを提案する。
- 参考スコア(独自算出の注目度): 5.987250983212102
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Memory poisoning attacks for Agentic AI and multi-agent systems (MAS) have recently caught attention. It is partially due to the fact that Large Language Models (LLMs) facilitate the construction and deployment of agents. Different memory systems are being used nowadays in this context, including semantic, episodic, and short-term memory. This distinction between the different types of memory systems focuses mostly on their duration but also on their origin and their localization. It ranges from the short-term memory originated at the user's end localized in the different agents to the long-term consolidated memory localized in well established knowledge databases. In this paper, we first present the main types of memory systems, we then discuss the feasibility of memory poisoning attacks in these different types of memory systems, and we propose mitigation strategies. We review the already existing security solutions to mitigate some of the alleged attacks, and we discuss adapted solutions based on cryptography. We propose to implement local inference based on private knowledge retrieval as an example of mitigation strategy for memory poisoning for semantic memory. We also emphasize actual risks in relation to interactions between agents, which can cause memory poisoning. These latter risks are not so much studied in the literature and are difficult to formalize and solve. Thus, we contribute to the construction of agents that are secure by design.
- Abstract(参考訳): エージェントAIとマルチエージェントシステム(MAS)のメモリ中毒攻撃が最近注目を集めている。
その理由の一部は、LLM(Large Language Models)がエージェントの構築とデプロイを促進するためである。
この文脈では、セマンティック、エピソディック、短期記憶など様々なメモリシステムが使われている。
この異なるタイプのメモリシステム間の区別は、主にその期間だけでなく、その起源と局所性にも焦点をあてる。
それは、異なるエージェントにローカライズされたユーザの端の短期記憶から、確立された知識データベースにローカライズされた長期統合メモリまで幅広い。
本稿では、まず、主なメモリシステムについて述べ、次に、これらの異なるメモリシステムにおけるメモリ中毒攻撃の可能性について論じ、緩和戦略を提案する。
我々は、すでに存在するセキュリティソリューションをレビューし、いくつかの攻撃を軽減し、暗号化に基づく適応されたソリューションについて議論する。
本稿では,セマンティックメモリに対するメモリ中毒の緩和戦略の例として,プライベート知識検索に基づく局所推論を実装することを提案する。
我々はまた、記憶中毒を引き起こす可能性があるエージェント間の相互作用に関して、実際のリスクを強調している。
後者のリスクは文献であまり研究されておらず、形式化と解決が難しい。
したがって、我々は、設計によって安全であるエージェントの構築に貢献する。
関連論文リスト
- The AI Hippocampus: How Far are We From Human Memory? [77.04745635827278]
インプリシットメモリは、事前訓練されたトランスフォーマーの内部パラメータに埋め込まれた知識を指す。
明示メモリは、動的でクエリ可能な知識表現でモデル出力を増大させるように設計された外部ストレージと検索コンポーネントを含んでいる。
エージェントメモリは、自律エージェント内に永続的、時間的に拡張されたメモリ構造を導入する。
論文 参考訳(メタデータ) (2026-01-14T03:24:08Z) - Memory Matters More: Event-Centric Memory as a Logic Map for Agent Searching and Reasoning [55.251697395358285]
大規模言語モデル(LLM)は、環境を推論し、計画し、相互作用するインテリジェントエージェントとして、ますます多くデプロイされている。
長期のシナリオに効果的にスケールするには、そのようなエージェントの重要な機能は、過去の経験を保持し、整理し、取り出すことができるメモリメカニズムである。
イベント理論にインスパイアされたイベント中心のメモリフレームワークであるCompassMemを提案する。
論文 参考訳(メタデータ) (2026-01-08T08:44:07Z) - Beyond Heuristics: A Decision-Theoretic Framework for Agent Memory Management [49.71055327567513]
メモリ管理は、不確実性の下でのシーケンシャルな意思決定問題と見なされるべきである。
私たちの貢献は、新しいアルゴリズムではなく、アプローチの限界を明確にする原則的なリフレーミングです。
論文 参考訳(メタデータ) (2025-12-25T08:23:03Z) - Memory in the Age of AI Agents [217.9368190980982]
この研究は、現在のエージェントメモリ研究の最新の展望を提供することを目的としている。
我々は,エージェントメモリ,すなわちトークンレベル,パラメトリック,潜時メモリの3つの支配的実現を同定する。
実用的な開発を支援するため、メモリベンチマークとオープンソースフレームワークの包括的な概要をコンパイルする。
論文 参考訳(メタデータ) (2025-12-15T17:22:34Z) - Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。
視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
論文 参考訳(メタデータ) (2025-11-26T18:55:08Z) - Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。
以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
論文 参考訳(メタデータ) (2025-10-27T18:03:50Z) - A Machine with Short-Term, Episodic, and Semantic Memory Systems [9.42475956340287]
明示的な人間の記憶システムの認知科学理論に触発されて、我々は短期的、エピソード的、セマンティックな記憶システムを持つエージェントをモデル化した。
実験により,人間のような記憶システムを持つエージェントは,このメモリ構造を環境に残さずにエージェントよりも優れた性能を発揮できることが示唆された。
論文 参考訳(メタデータ) (2022-12-05T08:34:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。