論文の概要: Defusing Explosive Prompts: Understanding and Preventing Trigger-Based Prompt Injections in LLM Agents
- arxiv url: http://arxiv.org/abs/2609.22510v1
- Date: Fri, 18 Sep 2026 19:16:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.425836
- Title: Defusing Explosive Prompts: Understanding and Preventing Trigger-Based Prompt Injections in LLM Agents
- Title（参考訳）: 爆発性プロンプトの除去--LLM剤のトリガー系プロンプト注入の理解と予防
- Abstract要約: 本稿では,攻撃チョーゼントリガーが満たされるまで停止状態にある条件付きペイロードである爆薬プロンプトを紹介する。
ほぼ完全にインペラティブを拒否するフロンティアモデルでは、同じ目標を言い換えると、実際の状態変化ツールの実行が促される。
我々の検出器であるDeFuseは、5%の偽陽性予算で3.0%に達する。
- 参考スコア（独自算出の注目度）: 5.739593008002878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As LLM applications integrate with external tools, they are increasingly exposed to indirect prompt injection (IPI), where adversarial instructions are embedded in retrieved content. Conventional IPIs fire on contact: the moment an agent ingests the content, it carries out the instruction. We introduce the explosive prompt, a conditional payload that stays dormant until an attacker-chosen trigger is met, in effect a training-free, inference-time backdoor planted in a single piece of retrieved content. This temporal separation reaches where ordinary IPI cannot. On frontier models that refuse the bare imperative almost entirely, rephrasing the same goal as a dormant conditional drives real, state-changing tool execution against a live agent backend (a paired mean of 16.5% vs. 2.4% for the imperative, reaching 34.2% on a proprietary model). In trials on nine production agents (OpenAI Codex, Google Gemini CLI, Anthropic Claude Code CLI, Cursor CLI, GitHub Copilot, Devin AI CLI, Amazon Kiro CLI, Qwen Code, Google Assistant; n=30 each), explosive prompts succeed in 43-83% of cases versus at most 3% for an imperative baseline, and they slip past deployed defenses: off-the-shelf injection classifiers are miscalibrated on them, and a preference-optimized model that closes imperative injection entirely still executes 11.8% of explosive prompts, every one at the trigger turn. The durable defensive lever is ingestion-time detection of the conditional structure, once detectors are trained on explosive-prompt data, which no prior benchmark supplied and our generator does. Retraining cuts live tool-execution attack success from an undefended 34.3% to 7.5-8.1% for the encoder baselines. Our detector, DeFuse, reaches 3.0% at a calibrated 5% false-positive budget with the best detection quality of any method tested (AUC 0.9994) and 25x lower latency, though it needs length-aware thresholds.
- Abstract（参考訳）: LLMアプリケーションは外部ツールと統合されているため、間接的プロンプトインジェクション(IPI)に曝されやすくなり、敵の命令が検索されたコンテンツに埋め込まれる。
通常のIPIは接触時に発火する: エージェントがコンテンツを取り込むと、その命令を実行する。
本稿では,攻撃者によるトリガーが成立するまで静止状態に留まる条件付きペイロードである爆発的プロンプトについて紹介する。
この時間的分離は、通常のIPIができないところに達する。
最低限命令をほとんど完全に拒否するフロンティアモデルでは、休眠条件と同じ目標を言い換えると、実際の状態変化ツールの実行をライブエージェントバックエンドに対して駆動する(ペア平均は16.5%対2.4%で、プロプライエタリモデルでは34.2%に達する)。
OpenAI Codex, Google Gemini CLI, Anthropic Claude Code CLI, Cursor CLI, GitHub Copilot, Devin AI CLI, Amazon Kiro CLI, Qwen Code, Google Assistant; n=30) の9つのプロダクションエージェント(OpenAI Codex, Google Gemini CLI, Anthropic Claude Code CLI, Cursor CLI, GitHub Copilot, Devin AI CLI, Amazon Kiro CLI, Qwen Code, Google Assistant; n=30)のトライアルでは、インペラティブベースラインに対して43～83%のケースで爆発的プロンプトが成功し、デプロイされた防御をパスしている。
耐久性のある防御レバーは条件構造を経時的に検出するものであり、検知器を爆薬・爆薬のデータで訓練すると、それ以前のベンチマークは供給されず、発生装置も検出する。
リトレーニングにより、ライブツール実行攻撃が34.3%から7.5-8.1%に削減された。
我々の検出器であるDeFuseは、基準5%の偽陽性予算で3.0%に達し、テスト対象のメソッド(AUC 0.9994)の最高の検出品質と25倍のレイテンシを持つ。
関連論文リスト
- SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳（メタデータ） (2026-08-31T03:39:43Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents [24.540638169054812]
悪意のあるサードパーティのスキルにハイジャックされた単一のエージェントは、データの流出、特権のエスカレーション、カスケード妥協を引き起こす可能性がある。
我々は、エージェントランタイムのためのオープンソースのフレームワークに依存しないセキュリティ監視ゲートウェイであるClawSentryを紹介する。
論文 参考訳（メタデータ） (2026-08-21T13:47:51Z) - Guardrails as Scapegoats: Auditing Unfaithful Safety Refusals in Tool-Augmented LLM Agents [0.0]
12個の生産スタブに4つのサイレント障害プロファイルを注入する、軽量なブラックボックス監査フレームワークを導入する。
我々は,HSR(Honest Surrender),製造(FAR),不信の安全拒絶(Unfaithful Safety Refusal)が支配的であることを発見した。
USRは、システム内の安全語彙が政策論理を素数に促すと活性化される潜伏行動である。
論文 参考訳（メタデータ） (2026-07-21T13:23:05Z) - MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills [24.371534406647978]
MalSkillBenchは、悪質なエージェントスキルの最初のランタイム検証ベンチマークである。
コードインジェクションは94.5%に達するが、迅速なインジェクションは75.8%に過ぎない。
データセット、パイプライン、ベースライン、結果をリリースしています。
論文 参考訳（メタデータ） (2026-06-05T10:43:19Z) - MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。
199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。
9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
論文 参考訳（メタデータ） (2026-05-05T16:38:23Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳（メタデータ） (2025-05-08T13:04:45Z) - AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。
従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。
エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
論文 参考訳（メタデータ） (2024-07-17T17:59:47Z) - ShadowCode: Towards (Automatic) External Prompt Injection Attack against Code LLMs [56.46702494338318]
本稿では,コード指向の大規模言語モデルに対する(自動)外部プロンプトインジェクションという,新たな攻撃パラダイムを紹介する。
コードシミュレーションに基づいて誘導摂動を自動生成する,シンプルで効果的な方法であるShadowCodeを提案する。
3つの人気のあるプログラミング言語にまたがる31の脅威ケースを発生させるため、13の異なる悪意のある目標に対して本手法を評価した。
論文 参考訳（メタデータ） (2024-07-12T10:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。