論文の概要: The Price of Safety: Benign-Case Utility and Token Overhead of Memory-Poisoning Defenses in LLM Agents

• arxiv url: http://arxiv.org/abs/2609.22818v1
• Date: Sat, 19 Sep 2026 06:39:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.904188
• Title: The Price of Safety: Benign-Case Utility and Token Overhead of Memory-Poisoning Defenses in LLM Agents
• Title（参考訳）: 安全の代償:LLMエージェントの良否と記憶保護対策のトーケンオーバーヘッド
• Abstract要約: 我々は,メモリバックエンド,検索プロセス,および異なる条件で一貫した判断を維持できる計測装置を開発した。 我々は5つの会話で各条件を3回テストし、防御の本当の効果とノイズを区別する。 LLMを使用するかどうかに関わらず、防御がパイプラインをインターセプトすると、その良質なケースの価格が決定される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory-poisoning defenses for LLM agents are typically evaluated by their ability to prevent attacks. However, the traffic they process is rarely adversarial. The cost of implementing a defense is paid with each interaction, while its benefits are only seen in a small percentage of cases. We developed a measurement setup that keeps the memory backend, retrieval process, and judge consistent across different conditions, changing only the defense itself. We test each condition three times across five conversations to distinguish the defense's real effects from noise inherent in the pipeline's runs, which remains significant even at temperature zero. Across three write-time defenses (input sanitization, provenance checking, and LLM-based anomaly detection) and one read-time defense (reranking), tested on entirely benign traffic, the write-time defenses show no utility cost we can resolve, with 95% confidence intervals spanning roughly +/-4.5 points and including zero. The reranker is different: it lowers core accuracy by 4.4 points (95% CI [-9.0,-0.05], bootstrap; McNemar p=0.064), a result that survives replication but sits at the edge of our resolution. Its clearer cost is mechanical rather than statistical. On conversations containing no attack, the reranker quarantines legitimate memories on 33.6% of adjudicated items, reaching as many as 106 false quarantines in a single conversation, at 2.7% token overhead. Stacking all four defenses does not compound this cost: the combined condition's accuracy loss is smaller, and its confidence interval includes zero, suggesting the write-time defenses may partly offset what the reranker discards. Where a defense intercepts the pipeline, not whether it uses an LLM, appears to determine its benign-case price.
• Abstract（参考訳）: LLMエージェントのメモリ汚染防御は、通常攻撃を防ぐ能力によって評価される。 しかし、それらが処理するトラフィックはめったに敵対的ではない。 防衛を実装するコストは、それぞれのインタラクションで支払われるが、そのメリットは少数のケースでのみ見られる。 我々は、メモリバックエンド、検索プロセス、および異なる条件で一貫した判断を維持できる測定装置を開発し、防御そのものを変更する。 我々は、5つの会話で各条件を3回テストし、防御の本当の効果とパイプラインの走行に固有のノイズを区別する。 3つの書き込み時防御(インプットサニタイズ、前兆チェック、LCMに基づく異常検出)と1つのリードタイム防御(リグレード)は、完全に良質なトラフィックでテストされ、書き込み時防衛は、およそ+/-4.5ポイントの信頼区間と0を含む95%の信頼区間で解決できる実用コストを示さない。 コア精度を4.4ポイント下げる(95% CI [-9.0,-0.05],ブートストラップ; McNemar p=0.064)。 その明確なコストは統計よりも機械的なものである。 攻撃を含まない会話では、リランカーは33.6%の正統な記憶を隔離し、単一の会話で最大106の偽検疫を2.7%のトークンオーバーヘッドで達成した。 組み合わせ条件の精度損失は小さく、信頼区間はゼロであり、書き込み時防御はリランカーが捨てたものを部分的にオフセットする可能性があることを示唆している。 LLMを使用するかどうかに関わらず、防御がパイプラインをインターセプトすると、その良質なケースの価格が決定される。

関連論文リスト

• Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs [52.149036302760386]
  大規模な言語モデルは、プロンプトによって引き起こされるシークレットを、流動的で良心的な出力にエンコードするように微調整することができる。 近年の研究では、内部の活性化から秘密を回収する線形プローブによる検出を提案する。 この防御は体系的に回避できるが,対象とするデータレベルの介入によって検出性が回復可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-08T12:27:11Z)
• MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents [0.0]
  検索強化エージェントに対するメモリ中毒攻撃を,統合評価フレームワークを用いたStackelbergゲームとして定式化する。 ASR-R: 0.25〜1.00$) による攻撃成功度を4倍に向上させる。 私たちの主な貢献は、勾配結合に接地したキャリブレーションに基づく防御であるMEMSADである。
  論文  参考訳（メタデータ） (2026-05-05T08:15:41Z)
• The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail? [0.4563346097310683]
  モデルがそれを見る前に入力を前処理する$D: Xto X$は、接続されたプロンプト空間を持つ言語モデルに対して、すべての出力を厳格に安全にする。
  論文  参考訳（メタデータ） (2026-04-07T20:20:18Z)
• TrapSuffix: Proactive Defense Against Adversarial Suffixes in Jailbreaking [52.72486831074384]
  サフィックスベースのジェイルブレイク攻撃は、敵のサフィックス、すなわち短いトークンシーケンスを付加し、LLMを安全でない出力にステアリングする。 提案するTrapSuffixは,推論パイプラインを変更することなく,トラップアラインな動作をベースモデルに注入する,軽量な微調整手法である。 様々なサフィックスベースのジェイルブレイク設定で、TrapSuffixは平均攻撃成功率を0.01%以下に下げ、平均追跡成功率87.9%を達成する。
  論文  参考訳（メタデータ） (2026-02-06T11:43:56Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• Coward: Toward Practical Proactive Federated Backdoor Defense via Collision-based Watermark [90.94234374893287]
  我々は、マルチバックドア衝突効果の発見に触発されて、Cowardと呼ばれる新しいプロアクティブディフェンスを導入する。 一般に,サーバから注入された,矛盾するグローバルな透かしが,保持されるのではなく,ローカルトレーニング中に消去されるかどうかを評価することで攻撃者を検出する。
  論文  参考訳（メタデータ） (2025-08-04T06:51:33Z)
• Evaluating the Robustness of the "Ensemble Everything Everywhere" Defense [90.7494670101357]
  あらゆるものをアンサンブルすることは、敵の例に対する防御である。 この防御は敵の攻撃に対して堅牢ではないことを示す。 次に、標準的なアダプティブアタック技術を用いて、防御の堅牢な精度を低下させる。
  論文  参考訳（メタデータ） (2024-11-22T10:17:32Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。