論文の概要: Beyond Prompt Injection: The Tool Update Gap in LLM Agent Security
- arxiv url: http://arxiv.org/abs/2611.01976v1
- Date: Sun, 01 Nov 2026 15:14:02 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:13:15.164251
- Title: Beyond Prompt Injection: The Tool Update Gap in LLM Agent Security
- Title(参考訳): プロンプトインジェクションを超えて - LLMエージェントセキュリティにおけるツールアップデートギャップ
- Abstract要約: ETUDE(Exploiting Tool Updates for Direct Execution)は、悪意のある機能をツール更新に埋め込む攻撃である。
プロンプトベースの攻撃とは異なり、ETUDEはLLMのコンテキスト外で完全に動作し、敵の指示を必要としない。
ETUDEは3つの代表的な攻撃ワークロードと7つの広く使われている商用およびオープンソースのエージェントフレームワークで評価する。
- 参考スコア(独自算出の注目度): 23.081671177863928
- License:
- Abstract: Large language model based agents increasingly rely on external tools to invoke services and interact with web resources. These tools can evolve through software updates, yet agentic frameworks may continue trusting them without re-verifying their safety after implementation changes. This tool update gap creates a supply-chain vulnerability in agentic systems: because updated tool code executes outside the LLM's context window, malicious functionality embedded in tool updates can bypass defenses centered on model-visible interactions, leaving agents exposed to stealthy, persistent threats that existing in-context defenses can hardly address. To thoroughly investigate this threat, we introduce ETUDE (Exploiting Tool Updates for Direct Execution), an attack that embeds malicious functionality into updates of initially benign tools to produce compromised tools, while preserving their legitimate tool functionality. Unlike prompt-based attacks, ETUDE operates entirely outside the LLM's context and requires no adversarial instructions, thereby bypassing defenses restricted to model-visible content. We evaluate ETUDE across three representative attack workloads and seven widely used commercial and open-source agentic frameworks, including Gemini CLI, Codex CLI, and Claude Code. The results show that ETUDE achieves a 97.6% ASR while maintaining a 95.9% legitimate task completion rate. We further examine existing defenses and find that they provide insufficient protection against this threat. These findings expose a fundamental blind spot in current agent security practices: trust established for a tool does not necessarily remain valid after its implementation updates.
- Abstract(参考訳): 大規模言語モデルベースのエージェントは、サービスを呼び出してWebリソースと対話するための外部ツールに依存している。
これらのツールは、ソフトウェアのアップデートを通じて進化することができるが、エージェントフレームワークは、実装変更後の安全性を再検証することなく、それらを信頼し続けるかもしれない。
更新されたツールコードがLLMのコンテキストウィンドウ外で実行されるため、ツール更新に埋め込まれた悪意のある機能は、モデル可視的なインタラクションを中心としたディフェンスをバイパスし、既存のインコンテキストディフェンスでは対処できない、ステルスで永続的な脅威にさらされる。
この脅威を徹底的に調査するために、ETUDE(Exploiting Tool Updates for Direct Execution)を導入します。
プロンプトベースの攻撃とは異なり、ETUDEはLLMのコンテキスト外で完全に動作し、敵の指示を必要としないため、モデル可視コンテンツに限定された防御をバイパスする。
我々は,3つの代表的な攻撃ワークロードと,Gemini CLI,Codex CLI,Claude Codeなど,広く使用されている商用およびオープンソースエージェントフレームワーク7つを対象に,ETUDEを評価した。
その結果、ETUDEは97.6%のASRを達成し、95.9%の正当性タスク完了率を維持した。
我々は、既存の防衛策をさらに検討し、この脅威に対して十分な保護を提供していないことを発見した。
これらの発見は、現在のエージェントセキュリティプラクティスにおける根本的な盲点を浮き彫りにしている。
関連論文リスト
- Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning [48.99783163807576]
クロスツール記述中毒は、エージェントの軌道を操縦するためにプランナー可視のツールメタデータを操作することができる。
重要な観察は、有毒な記述がステップを越えた計画コンテキストに留まり、その後のツール選択に対する継続的な影響を可能にすることである。
我々は,孤立計画と呼ばれる新しい概念に基づく新しいシステムレベルの防衛ツールであるTool-Guardを提案する。
論文 参考訳(メタデータ) (2026-06-18T20:31:08Z) - Toward Secure LLM Agents: Threat Surfaces, Attacks, Defenses, and Evaluation [13.654207263751156]
大規模言語モデル(LLM)エージェントは、会話インターフェースから、計画し、ツールを呼び出し、メモリを保守し、外部環境に作用するソフトウェアコンポーネントへと急速に移行している。
本稿では,情報フロー,委任権限,永続状態の相互作用に関するエージェントのセキュリティをモデル化するライフサイクルベースのシステム指向フレームワークを用いて,247の論文を合成する。
また, プロンプトインジェクションとツールによる制御-フローハイジャックが依然としてこの分野を支配しているのに対し, 永続的な状態破壊とマルチエージェントの伝播が中心的な関心事となっている。
論文 参考訳(メタデータ) (2026-06-09T12:01:07Z) - Securing LLM Agents Need Intent-to-Execution Integrity [49.490963596514185]
我々は, LLMエージェントの確保には, エージェントの実行がユーザの意図を忠実に反映した場合に規定するエンドツーエンドの正当性を定義する必要があると主張している。
LLMエージェントはコンパイラと構造的に類似しており、セキュリティ違反はユーザ意図を保存しない誤った実行に対応する。
emphTool整合性、emph命令整合性、emphJudgment整合性、emphData整合性。
論文 参考訳(メタデータ) (2026-05-16T12:53:31Z) - ClawGuard: A Runtime Security Framework for Tool-Augmented LLM Agents Against Indirect Prompt Injection [8.627671856044527]
textscClawGuardは、すべてのツール呼び出し境界に設定されたユーザ確認ルールを強制する。
textscClawGuardは、モデル修正やインフラストラクチャの変更なしに、3つのインジェクションパスをすべてブロックする。
この研究は、安全なエージェントAIシステムのための効果的な防御メカニズムとして、決定論的ツールコール境界強制を確立する。
論文 参考訳(メタデータ) (2026-04-13T17:55:11Z) - MalTool: Malicious Tool Attacks on LLM Agents [52.01975462609959]
MalToolはLLMベースのフレームワークで、特定の悪意のある振る舞いを示すツールを合成する。
MalTool は LLM のコーディングが安全に対応している場合でも非常に有効であることを示す。
論文 参考訳(メタデータ) (2026-02-12T17:27:43Z) - AgenTRIM: Tool Risk Mitigation for Agentic AI [5.4672006013914975]
ツール駆動型エージェントリスクの検出と緩和のためのフレームワークであるAgenTRIMを紹介する。
AgenTRIMは、これらのリスクに相補的なオフラインおよびオンラインフェーズを通じて対処する。
AgenTRIMは、高いタスク性能を維持しながら、攻撃成功を大幅に削減する。
論文 参考訳(メタデータ) (2026-01-18T15:10:18Z) - ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。
LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。
次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
論文 参考訳(メタデータ) (2026-01-15T07:54:32Z) - STAC: When Innocent Tools Form Dangerous Chains to Jailbreak LLM Agents [38.755035623707656]
本稿では,エージェントツールの利用を生かした新しいマルチターンアタックフレームワークSTACについて紹介する。
我々は,483のSTACケースを自動生成し,評価するために,1,352セットのユーザエージェント環境相互作用を特徴とするフレームワークを適用した。
GPT-4.1を含む最先端のLSMエージェントはSTACに対して極めて脆弱であり,攻撃成功率(ASR)は90%以上である。
論文 参考訳(メタデータ) (2025-09-30T00:31:44Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳(メタデータ) (2025-07-08T16:18:54Z) - Progent: Programmable Privilege Control for LLM Agents [46.31581986508561]
本稿では,大規模言語モデルエージェントをセキュアにするための最初の特権制御フレームワークであるProgentを紹介する。
Progentは、潜在的に悪意のあるものをブロックしながら、ユーザタスクに必要なツールコールの実行をエージェントに制限することで、ツールレベルでのセキュリティを強化する。
モジュール設計のおかげで、Progentの統合はエージェント内部を変更せず、既存のエージェントの実装に最小限の変更しか必要としません。
論文 参考訳(メタデータ) (2025-04-16T01:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。