論文の概要: MemSentry: A Framework for Detecting Persistent Memory Poisoning in Agentic AI

• arxiv url: http://arxiv.org/abs/2609.08747v1
• Date: Tue, 08 Sep 2026 13:40:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 15:51:09.84472
• Title: MemSentry: A Framework for Detecting Persistent Memory Poisoning in Agentic AI
• Title（参考訳）: MemSentry:エージェントAIにおける永続的メモリポジショニング検出フレームワーク
• Abstract要約: 提案する永続メモリ書き込みをインターセプトし,決定論的アクセプション,レビュー,あるいはQuantine決定を生成するフレームワークであるMemSentryを提示する。 MemSentryは、ソース信頼、セマンティックリスク、コンポーネント依存DAGに対する攻撃半径、アクセスリスク、署名されたセキュリティ状態デルタを共同で検討することで、各書き込みを評価する。 SBERT+LRは91.7%の精度と0.908のマクロF1スコアで最高性能を達成し、4つの手法はすべて外部の隔離クラスの脅威を100%検出した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic AI systems with persistent memory introduce a distinct attack surface known as memory poisoning, in which adversarially crafted content is stored in long-term memory and subsequently influences future agent behavior. Such attacks can suppress security alerts, facilitate privilege escalation, alter trust relationships, or override security policies without modifying the underlying model weights or system prompts. To address this threat, we present MemSentry, a formal, configuration-driven framework that intercepts proposed persistent-memory writes and produces deterministic Accept, Review, or Quarantine decisions. MemSentry evaluates each write by jointly considering source trust, semantic risk, attack radius over a component-dependency DAG, access risk, and a signed security-state delta that captures whether an operation weakens or strengthens the system's security posture. We instantiate the protected environment using a 20-asset random dependency DAG and a 10 x 20 user access-control matrix, and evaluate the framework over 1,000 GPT-4-generated scenarios using a stratified 70/30 train/test split. Semantic classification is treated as a pluggable component rather than a primary contribution, and we compare four representative approaches: rule-based Regex, TF-IDF+SVM, SBERT+LR, and SetFit. SBERT+LR achieves the best overall performance with 91.7% accuracy and a 0.908 macro-F1 score, while all four methods detect 100% of external quarantine-class threats. For verified insiders, where source trust is maximal (T = 1), MemSentry does not automatically quarantine suspicious operations but instead escalates potentially dangerous writes for human review, making semantic classification important for accurately capturing insider intent.
• Abstract（参考訳）: 永続的メモリを持つエージェントAIシステムは、敵に作られたコンテンツが長期記憶に格納され、その後のエージェントの動作に影響を与える、メモリ中毒と呼ばれる別個の攻撃面を導入する。 このような攻撃は、セキュリティ警告の抑制、特権エスカレーションの促進、信頼関係の変更、あるいは基盤となるモデルウェイトやシステムプロンプトを変更することなくセキュリティポリシーをオーバーライドすることができる。 この脅威に対処するため、私たちは、提案された永続メモリ書き込みをインターセプトし、決定論的アクセプション、レビュー、クォータイン決定を生成する、フォーマルで構成駆動のフレームワークであるMemSentryを紹介します。 MemSentryは、ソース信頼、セマンティックリスク、コンポーネント依存DAGに対する攻撃半径、アクセスリスク、およびオペレーションがシステムのセキュリティ姿勢を弱めるか強化するかをキャプチャする署名されたセキュリティ状態デルタを共同で検討することで、各書き込みを評価する。 我々は,20のランダム依存DAGと10 x 20のユーザアクセス制御行列を用いて保護環境をインスタンス化し,階層化された70/30列車/テスト分割を用いて1000以上のGPT-4生成シナリオを評価する。 セマンティック分類はプライマリコントリビューションではなくプラガブルコンポーネントとして扱われ,ルールベースのRegex,TF-IDF+SVM,SBERT+LR,SetFitの4つの代表的なアプローチを比較した。 SBERT+LRは91.7%の精度と0.908のマクロF1スコアで最高性能を達成し、4つの手法はすべて外部の隔離クラスの脅威を100%検出した。 情報源信頼が最大である検証されたインサイダー(T = 1)の場合、MemSentryは疑わしい操作を自動的に隔離するのではなく、人間のレビューのために潜在的に危険な書き込みをエスカレートし、インサイダーの意図を正確に把握するためにセマンティックな分類が重要である。

関連論文リスト

• EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
  EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。 これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。 また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
  論文  参考訳（メタデータ） (2026-09-05T05:56:41Z)
• Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems [1.7327102304628392]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) を外部知識で出力する。 本稿では,自然言語推論(NLI)の事実検証,関連性重み付けによる5信号毒素検出,信頼指数T = 0.4 F + 0.35 C + 0.25 (1 - P) を組み合わせた評価エージェントを提案する。 Llama 3.3 70BのTrathfulQAでは、エージェントは91%の精度と100%の精度に達し、インストラクションインジェクションで100%リコールされる。
  論文  参考訳（メタデータ） (2026-08-21T13:42:41Z)
• When Claws Remember but Do Not Tell: Stealthy Memory Injection in Persistent Personal Agents [55.87577638514179]
  我々は、リモートのブラックボックスが1つのメールペイロードを送信し、エージェントに有毒なメモリを誘導しなければならない、ステルスメモリインジェクションとして脅威を調査する。 我々は,ワンショットペイロード生成フレームワークであるMemGhostを提案する。 56のテストケースで、MemGhostはGPT-5.4でOpenClawで87.5%、Sonnet 4.6でClaude Code SDKで71.4%を達成している。
  論文  参考訳（メタデータ） (2026-07-06T15:08:58Z)
• MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
  そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。 MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
  論文  参考訳（メタデータ） (2026-06-09T11:53:25Z)
• AsmRAG: LLM-Driven Malware Detection by Retrieving Functionally Similar Assembly Code [1.2183405753834562]
  本稿では,AsmRAGについて紹介する。 このシステムは、LLM(Code-specialized Large Language Model)を使用してアセンブリ関数を分析し、それらをセマンティックな埋め込みに変換する。 そこで本研究では,バイナリ内の悪意論理の一次単位を分離し,検証可能な法医学的証拠を抽出し,回避の試みに抵抗する密度重み付きアンカー選択機構を提案する。
  論文  参考訳（メタデータ） (2026-04-25T08:05:50Z)
• Session Risk Memory (SRM): Temporal Authorization for Deterministic Pre-Execution Safety Gates [0.0]
  本稿では,ステートレスな実行ゲートをトラジェクトリレベルの認証で拡張する軽量な決定論的モジュールであるSession Risk Memory (SRM)を紹介する。 スローバーン除去, 段階的エスカレーション, コンプライアンスドリフトシナリオを含む80セッションのベンチマークで評価を行った。
  論文  参考訳（メタデータ） (2026-03-22T08:30:28Z)
• CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
  LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。 既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。 動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
  論文  参考訳（メタデータ） (2026-02-23T06:41:41Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
  大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。 この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。 本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T05:01:09Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。