論文の概要: Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks
- arxiv url: http://arxiv.org/abs/2609.16098v1
- Date: Mon, 14 Sep 2026 15:20:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.15296
- Title: Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks
- Title（参考訳）: ツール・インテグレート LLM エージェントの敵攻撃に対するユニバーサルディフェンス
- Abstract要約: 大規模言語モデル(LLM)エージェントは、さまざまなドメインにまたがる印象的な機能を示している。
ダイレクト・プロンプト・インジェクション、インダイレクト・プロンプト・インジェクション、メモリ中毒、バックドア・アタックなど、敵の攻撃に対してますます脆弱である。
これら4つの攻撃タイプにまたがる統一された枠組みの中で、実用的で汎用的な防御戦略を探求する。
- 参考スコア（独自算出の注目度）: 12.83067910280608
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Model (LLM) agents have demonstrated impressive capabilities across a variety of domains, particularly when integrated with external tools for multi-step task completion. However, they are increasingly vulnerable to adversarial attacks, including direct prompt injection, indirect prompt injection, memory poisoning, and backdoor attacks, which exploit the model's openness to prompt injection and tool manipulation. In this work, we explore practical and generalizable defense strategies within a unified framework across these four attack types. We introduce two universal tool-based defenses: Attacker Tool Filtering, which uses anomaly detection (e.g., Isolation Forest) to identify and remove suspicious tools, and Normal Tool Recalling, a white-box method that restores the agent's original toolset prior to planning. Additionally, we incorporate prompt-based defenses: Chain-of-Thought prompting and self-reflection techniques to enhance reasoning and task paraphrasing to mitigate attacks. Experimental results across both four open-source LLMs (Gemma2-9B, Qwen2-7B, LLaMA3-8B, and LLaMA3.1-8B) and three proprietary LLMs (GPT-3.5, GPT-4, and GPT-5) show that our methods significantly reduce the Attack Success Rates (ASR), achieving 0% ASR in many settings, while preserving or even improving the original task success rate. These findings highlight the promise of simple, modular, multi-layered defenses for strengthening the security and robustness of tool-integrated LLM agents. The code is available at https://github.com/Xiaoyan-Lisa/Defenses-for-Tool-Integrated-LLM-Agents-Against-Adversarial-Attacks.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、特にマルチステップタスク補完のための外部ツールと統合された場合、様々な領域で印象的な機能を示している。
しかし、直接的インジェクション、間接的インジェクション、メモリ中毒、バックドアアタックなど、直接的インジェクションやツール操作など、敵の攻撃に対してますます脆弱である。
本研究は,これらの4つの攻撃タイプにまたがる統一された枠組みの中で,実用的で汎用的な防御戦略について検討する。
本稿では,不審なツールを識別・削除するために異常検出(例:孤立林)を使用する攻撃ツールフィルタリングと,計画前にエージェントの元のツールセットを復元するホワイトボックスメソッドであるノーマルツールリコールの2つのユニバーサルツールベースディフェンスを紹介する。
さらに、我々は、アタックを緩和するために、推論とタスクパラフレージングを強化するために、Chain-of-Thoughtとセルフリフレクション技術という、プロンプトベースの防御技術も取り入れている。
4つのオープンソース LLM (Gemma2-9B, Qwen2-7B, LLaMA3-8B, LLaMA3.1-8B) と3つの独自 LLM (GPT-3.5, GPT-4, GPT-5) による実験結果から,本手法は攻撃成功率 (ASR) を著しく低減し,多くの設定において0%のASRを達成した。
これらの知見は、ツール統合LDMエージェントのセキュリティと堅牢性を強化するための、単純でモジュール化された多層防御の可能性を浮き彫りにした。
コードはhttps://github.com/Xiaoyan-Lisa/Defenses-for-Tool-Integrated-LLM-Agents-Against-Adversarial-Attacksで公開されている。
関連論文リスト
- Automated jailbreak attack targeting multiple defense strategies [11.710908982928594]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
しかし、敵の攻撃による攻撃を受けやすいため、その安全性は依然として重要な懸念事項である。
防衛指向の観点から設計した対戦型テストフレームワークUNIATTACKを提案する。
論文 参考訳（メタデータ） (2026-06-15T14:09:37Z) - T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search [49.99459363244884]
提案手法は, 対向的プロンプトの発見を導くために, 実行トラジェクトリを利用するトラジェクトリ対応の進化探索手法であるT-MAPを提案する。
本手法は,安全ガードレールをバイパスするだけでなく,実際のツールインタラクションによる有害な目標を確実に実現するための攻撃の自動生成を可能にする。
論文 参考訳（メタデータ） (2026-03-21T12:33:34Z) - MalTool: Malicious Tool Attacks on LLM Agents [52.01975462609959]
MalToolはLLMベースのフレームワークで、特定の悪意のある振る舞いを示すツールを合成する。
MalTool は LLM のコーディングが安全に対応している場合でも非常に有効であることを示す。
論文 参考訳（メタデータ） (2026-02-12T17:27:43Z) - Sponge Tool Attack: Stealthy Denial-of-Efficiency against Tool-Augmented Agentic Reasoning [58.432996881401415]
最近の作業では、エージェント推論を可能にするために、外部ツールで大きな言語モデル(LLM)を拡張している。
本稿では,入力プロンプトを書き換えることのみでエージェント推論を妨害するスポンジツールアタック(STA)を提案する。
STAは、意味的忠実度の高い原文からの良心的な即興的な書き直しを生成する。
論文 参考訳（メタデータ） (2026-01-24T19:36:51Z) - Securing the Model Context Protocol: Defending LLMs Against Tool Poisoning and Adversarial Attacks [8.419049623790618]
本研究は,MPP統合システムに対するセマンティックアタックの3つのクラスを分析する。
ディスクリプタの整合性を強制するためのRSAベースのマニフェスト署名、不審なツール定義を検出するためのLLM-on-LLMセマンティックベッティング、実行時に異常なツール動作をブロックする軽量ガードレールである。
提案手法は, モデル微調整や内部修正を伴わずに, 安全でないツール実行率を低減できることを示す。
論文 参考訳（メタデータ） (2025-12-06T20:07:58Z) - Adversarial Reinforcement Learning for Large Language Model Agent Safety [20.704989548285372]
大きな言語モデル(LLM)エージェントは、複雑なタスクを完了するためにGoogle Searchのようなツールを利用することができる。
現在の防衛戦略は、既知の攻撃のデータセットに精巧なLLMエージェントを頼っている。
対戦型強化学習(RL)を両プレイヤーゼロサムゲームとして定式化して活用する新しいフレームワークであるエージェント安全のための敵強化学習(ARLAS)を提案する。
論文 参考訳（メタデータ） (2025-10-06T23:09:18Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - Prompt Injection Attack to Tool Selection in LLM Agents [60.95349602772112]
一般的なアプローチは、与えられたタスクに対してツールライブラリから最も適切なツールを選択するための2段階のプロセス(式と例選択)に従う。
本研究では、no-boxシナリオにおける新しいプロンプトインジェクション攻撃ツール選択であるtextitToolHijackerを紹介する。
論文 参考訳（メタデータ） (2025-04-28T13:36:43Z) - MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。
マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
論文 参考訳（メタデータ） (2025-02-07T18:57:49Z) - From Allies to Adversaries: Manipulating LLM Tool-Calling through Adversarial Injection [11.300387488829035]
ツールコールは、外部ツールを統合することで、LLM(Large Language Model)アプリケーションを変更した。
本稿では,LDMツールコールシステムの脆弱性を利用した対向型ツールインジェクションによる新しいフレームワークであるToolCommanderを提案する。
論文 参考訳（メタデータ） (2024-12-13T15:15:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。