論文の概要: Memory as an Attack Surface in LLM Agents: A Study on Multiple-Choice Question Answering

• arxiv url: http://arxiv.org/abs/2606.29030v1
• Date: Sat, 27 Jun 2026 17:57:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.764002
• Title: Memory as an Attack Surface in LLM Agents: A Study on Multiple-Choice Question Answering
• Title（参考訳）: LLMエージェントの攻撃面としての記憶:多項目質問応答の検討
• Abstract要約: メモリは、エージェントが事前のインタラクションを保持し、よりパーソナライズされ、コンテキスト対応のレスポンスを提供する。 本稿では,複数質問応答のためのLLMエージェントのメモリ操作について検討する。 単純なメモリ操作であっても,エージェントの最終回答に顕著に影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 4.75542422590052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI agents extend conventional large language model (LLM) applications by integrating language understanding with task execution, external tool use, and memory mechanisms. While memory allows agents to retain prior interactions and provide more personalized and context-aware responses, it also introduces a new vulnerability: information stored in memory can influence future outputs even when the current query is clean. In this paper, we investigate memory manipulation in LLM-based agents for multiple-choice question answering. We first design and implement an LLM-based AI agent with an external memory component that stores and retrieves task-relevant information. We then introduce basic memory manipulation scenarios in which misleading or corrupted memories are inserted into the agent before it answers multiple-choice questions. Using a controlled experimental setup, we compare the agent's performance before and after memory manipulation and measure changes in answer accuracy, attack success rate, and selection of manipulated options. Our results show that even simple memory manipulations can noticeably affect the agent's final answers, causing it to select incorrect options despite receiving clean and well-formed questions.
• Abstract（参考訳）: AIエージェントは、言語理解をタスク実行、外部ツールの使用、メモリメカニズムに統合することで、従来の大規模言語モデル(LLM)アプリケーションを拡張します。 メモリは、エージェントが以前のインタラクションを保持し、よりパーソナライズされ、コンテキスト対応のレスポンスを提供することを可能にする一方で、メモリに格納された情報は、現在のクエリがクリーンである場合でも、将来の出力に影響を与えるという、新たな脆弱性も導入している。 本稿では,複数質問応答のためのLLMエージェントのメモリ操作について検討する。 まず、タスク関連情報を格納し、検索する外部メモリコンポーネントを備えたLLMベースのAIエージェントを設計、実装する。 次に、複数の質問に答える前に、ミスリードまたは破損した記憶をエージェントに挿入する基本的なメモリ操作シナリオを紹介します。 制御された実験装置を用いて、メモリ操作前後の性能を比較し、応答精度の変化、攻撃成功率、操作されたオプションの選択を測定する。 以上の結果から,単純なメモリ操作でもエージェントの最終回答に顕著な影響を与え,清潔で良好な質問を受け取っているにもかかわらず,誤った選択肢を選択することが示唆された。

関連論文リスト

• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• MemToolAgent: Leveraging Memory for Tool Using Agents Based on Environment and User Feedback [5.237822504687579]
  本稿では,メモリ管理によるツール使用を改善するフレームワークであるMemToolAgentを提案する。 本研究は,(1)汎用・パーソナライズされたツールの使用を微調整なしで改善する統一型メモリエントリフォーマット,(2)環境やユーザからのフィードバックを取り入れたリフレクションベースのメモリ抽出,(3)メモリ類似度分布に基づく過去の経験数を選択する検索モジュールの3つの主要なコントリビューションを有する。
  論文  参考訳（メタデータ） (2026-06-06T00:15:00Z)
• Beyond Similarity: Trustworthy Memory Search for Personal AI Agents [25.265839311088516]
  個人AIエージェントにおける信頼境界としてのメモリ探索について検討する。 MemGateは、信頼性の高いメモリ検索のための軽量でデプロイ可能なメモリプラグインである。
  論文  参考訳（メタデータ） (2026-06-04T11:54:29Z)
• MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents [78.95081012334116]
  永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。 汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。 MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-04-17T07:29:52Z)
• MemCollab: Cross-Agent Memory Collaboration via Contrastive Trajectory Distillation [16.57908722474221]
  大規模言語モデル(LLM)ベースのエージェントは、過去の問題解決経験から知識を再利用するためのメモリメカニズムに依存している。 既存のアプローチは、通常、エージェントごとの方法でメモリを構築し、格納された知識を単一のモデルの推論スタイルに密結合する。 その結果,エージェント間でのメモリ転送は,タスク関連知識をエージェント固有のバイアスと結び付けるなど,パフォーマンスを低下させることがわかった。 我々は,同一タスク上で異なるエージェントが生成する軌道の推論を対比することにより,エージェント非依存メモリを構成する協調メモリフレームワークであるMemCollabを提案する。
  論文  参考訳（メタデータ） (2026-03-24T14:05:47Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)
• AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management [47.49917373646469]
  既存の防御は肥大した記憶を与えられたまま扱い、回復力を維持することに集中する。 我々は、明示的なメモリ管理を通じて間接的なインジェクションを防御するフレームワークであるAgentSysを紹介する。
  論文  参考訳（メタデータ） (2026-02-07T06:28:51Z)
• ActMem: Bridging the Gap Between Memory Retrieval and Reasoning in LLM Agents [14.695250837875454]
  本稿では,ActMemと呼ばれる新しい動作可能なメモリフレームワークを提案する。 ActMemは非構造化対話履歴を構造化因果グラフと意味グラフに変換する。 エージェントは暗黙の制約を推論し、過去の状態と現在の意図の間の潜在的な衝突を解決することができる。
  論文  参考訳（メタデータ） (2026-02-04T00:54:53Z)
• Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
  大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。 本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-27T12:26:55Z)
• How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior [65.70584076918679]
  メモリは、大きな言語モデル(LLM)ベースのエージェントにおいて重要なコンポーネントである。 本稿では,メモリ管理の選択がLLMエージェントの行動,特に長期的パフォーマンスに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-05-21T22:35:01Z)
• Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions [55.19217798774033]
  メモリは、大規模言語モデル(LLM)ベースのエージェントを支える、AIシステムの基本コンポーネントである。 本稿ではまず,メモリ表現をパラメトリックおよびコンテキスト形式に分類する。 次に、コンソリデーション、更新、インデックス付け、フォッティング、検索、圧縮の6つの基本的なメモリ操作を紹介します。
  論文  参考訳（メタデータ） (2025-05-01T17:31:33Z)
• Memory Injection Attacks on LLM Agents via Query-Only Interaction [49.14715983268449]
  我々は,攻撃者がエージェントのメモリバンクを直接変更できると仮定することなく,新たなメモリインジェクション攻撃(MINJA)を提案する。 攻撃者は、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入する。 MINJAは、任意のユーザがエージェントメモリに影響を与え、リスクを強調します。
  論文  参考訳（メタデータ） (2025-03-05T17:53:24Z)
• Memory Sharing for Large Language Model based Agents [43.53494041932615]
  本稿では,リアルタイムメモリフィルタ,ストレージ,検索を統合し,In-Context学習プロセスを強化するためのフレームワークであるMemory Sharingを紹介する。 実験の結果,MSフレームワークはオープンな質問に対処する際のエージェントの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-04-15T17:57:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。