論文の概要: The Devil is in the Context: Nine Dimensions of Prompt Injection Attacks
- arxiv url: http://arxiv.org/abs/2611.04672v1
- Date: Tue, 03 Nov 2026 10:56:13 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:47:06.57413
- Title: The Devil is in the Context: Nine Dimensions of Prompt Injection Attacks
- Title(参考訳): The Devil is the Context:9 Dimensions of Prompt Injection Attacks
- Abstract要約: インジェクション攻撃が異なる9つの次元を同定する。
各次元は攻撃を検知したり予防したりできる防衛に影響を及ぼす。
本稿では,ベンチマークの自動アノテーションと新たなテストケースのターゲット生成をサポートする分類法について述べる。
- 参考スコア(独自算出の注目度): 13.534660583769117
- License:
- Abstract: Prompt injection is usually discussed and evaluated as a single, homogeneous type of attack. However, vulnerabilities reported in real-world systems show that prompt injections vary widely. Moreover, the same instruction can be a prompt injection in one context and a legitimate request in another, depending on the user's intent and the system's policies. Ignoring this variation leaves gaps in how defenses are evaluated, and can give a false sense of security against real-world attacks. We identify nine dimensions along which prompt injection attacks differ. Together, they form a taxonomy that describes the injected instruction itself, its relation to the user's task, and how it manifests in the target system. Each dimension affects which defenses can detect or prevent an attack. We first use the taxonomy to characterize six real-world prompt injection vulnerabilities, showing how much these attacks differ. We then apply it to nine prompt injection benchmarks and find that most cover only a small region of this space. Combining benchmarks helps, but 13% of pairwise category combinations remain untested, mostly among the less commonly represented categories. Finally, we show that the taxonomy supports automated annotation of benchmarks and targeted generation of new test cases to fill these gaps. The taxonomy is also useful beyond benchmarks. Defense authors can use it to state which types of prompt injection they evaluated against, and system operators can use it to identify which attacks apply to their system and choose defenses to match.
- Abstract(参考訳): プロンプト注入は通常、単一の均一な攻撃として議論され評価される。
しかし、現実世界のシステムに報告されている脆弱性は、インジェクションが広範囲に分散していることを示している。
さらに、同じ命令は、ユーザの意図やシステムの方針に応じて、あるコンテキストにおける即時インジェクションと、別のコンテキストにおける正当な要求を同時に行うことができる。
このバリエーションを無視することは、防御の評価方法にギャップを残し、現実世界の攻撃に対する誤ったセキュリティの感覚を与える可能性がある。
インジェクション攻撃が異なる9つの次元を同定する。
同時に、インジェクトインストラクション自体、ユーザのタスクとの関係、ターゲットシステムでどのように現れるかを記述する分類体系を形成する。
各次元は攻撃を検知したり予防したりできる防衛に影響を及ぼす。
まず、これらの攻撃がどの程度異なるかを示す6つの現実世界のプロンプトインジェクション脆弱性を特徴付けるために分類を使います。
次に、9つのプロンプトインジェクションベンチマークに適用し、ほとんどの場合、この分野の小さな領域しかカバーしていないことに気付きます。
ベンチマークの組み合わせは役立つが、ペアのカテゴリの組み合わせの13%はテストされていない。
最後に、これらのギャップを埋めるために、ベンチマークの自動アノテーションと新しいテストケースのターゲット生成をサポートする分類法を示す。
分類学はベンチマークを超えても有用である。
ディフェンスの作者は、評価したプロンプトインジェクションの種類を記述したり、システムオペレーターがシステムにどのアタックを適用するかを特定したり、マッチするディフェンスを選択することができる。
関連論文リスト
- SoK: PIAtlas: Decomposing the Unbounded Prompt Injection Attack Space [2.4851388650413866]
PIAtlasはインジェクトインストラクションがどのように構築され、基礎となるモデルを覆い隠すかという分類法である。
PIAtlasは、この攻撃空間を理解し、ベンチマークカバレッジを改善し、レッドチームとディフェンスを導くための共通の基盤を提供する。
論文 参考訳(メタデータ) (2026-10-18T04:07:48Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳(メタデータ) (2026-01-15T08:23:38Z) - Backdoor-Powered Prompt Injection Attacks Nullify Defense Methods [95.54363609024847]
大型言語モデル(LLM)はインジェクション攻撃に弱い。
本稿では,即時噴射防御法を無効化するより悪質な攻撃について検討する。
バックドアによるプロンプトインジェクション攻撃は、以前のプロンプトインジェクション攻撃よりも有害である。
論文 参考訳(メタデータ) (2025-10-04T07:11:11Z) - WAInjectBench: Benchmarking Prompt Injection Detections for Web Agents [34.909802797979324]
本稿では,Webエージェントを標的としたインジェクション攻撃を検出するための総合的なベンチマーク研究を行う。
悪意のあるサンプルと良心的なサンプルの両方を含むデータセットを構築します。
次に、テキストベースと画像ベースの両方の検出方法を体系化する。
論文 参考訳(メタデータ) (2025-10-01T18:34:06Z) - Formalizing and Benchmarking Prompt Injection Attacks and Defenses [59.57908526441172]
本稿では,迅速なインジェクション攻撃を形式化するフレームワークを提案する。
フレームワークに基づいて、既存のものを組み合わせることで、新たな攻撃を設計します。
我々の研究は、将来のプロンプトインジェクション攻撃と防御を定量的に評価するための共通のベンチマークを提供する。
論文 参考訳(メタデータ) (2023-10-19T15:12:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。