論文の概要: SoK: PIAtlas: Decomposing the Unbounded Prompt Injection Attack Space
- arxiv url: http://arxiv.org/abs/2610.24999v1
- Date: Sun, 18 Oct 2026 04:07:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-25 07:10:51.677418
- Title: SoK: PIAtlas: Decomposing the Unbounded Prompt Injection Attack Space
- Title(参考訳): SoK: PIAtlas: アンバウンド・プロンプト・インジェクション・アタック・スペースの分解
- Abstract要約: PIAtlasはインジェクトインストラクションがどのように構築され、基礎となるモデルを覆い隠すかという分類法である。
PIAtlasは、この攻撃空間を理解し、ベンチマークカバレッジを改善し、レッドチームとディフェンスを導くための共通の基盤を提供する。
- 参考スコア(独自算出の注目度): 2.4851388650413866
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt injection is the dominant security risk for large-language-model (LLM) applications and agents, yet the field still lacks a coherent map of how these attacks are constructed. More than twenty public datasets describe prompt injection using incompatible vocabularies, often organized around delivery vector, attacker goal, or generation method. In this Systematization of Knowledge, we present PIAtlas, a taxonomy organized instead around how the injected instruction is constructed to subvert the underlying model. Its six classes, one per subversion mechanism, form the roots of a hierarchy of techniques and sub-techniques that researchers can use to describe attacks consistently and design more systematic evaluations. We derive the taxonomy from how LLMs are trained, prompted, and influenced by human-like framing, and compare it with historical attack data. To ground this comparison, we release PICorpus, to our knowledge the largest license-clean collection of public prompt-injection datasets, and map thousands of its records to PIAtlas under a human-verified protocol. The mapping shows that attacks usually combine several techniques drawn from only a few mechanisms. It also reveals gaps that existing labels obscure: widely used agent benchmarks test only part of the attack space, and adaptive attackers favor mechanisms that curated benchmarks underrepresent. PIAtlas thus provides a common foundation for understanding this attack space, improving benchmark coverage, and guiding red teaming and defenses.
- Abstract(参考訳): プロンプトインジェクションは、大規模言語モデル(LLM)アプリケーションやエージェントにとって主要なセキュリティリスクである。
20以上のパブリックデータセットでは、デリバリベクタやアタッカー目標、生成メソッドを中心に編成される、互換性のない語彙を使用したプロンプトインジェクションが記述されている。
知識の体系化(Systematization of Knowledge)において、本研究では、インジェクトインストラクションがどのように構築され、基礎となるモデルに変換されるかという、代わりに組織された分類法であるPIAtlasを提示する。
その6つのクラス、1サブバージョンメカニズムは、研究者が一貫して攻撃を記述し、より体系的な評価を設計するために使用できるテクニックとサブテクニックの階層のルーツを形成する。
我々は、LDMの訓練、刺激、人間的なフレーミングの影響から分類法を導き、歴史的攻撃データと比較する。
この比較を根拠として、私たちは、公開プロンプトインジェクションデータセットのライセンスクリーンな最大のコレクションであるPICorpusをリリースし、その数千のレコードを、人間の検証プロトコルの下でPIAtlasにマップします。
マッピングは、通常、攻撃はいくつかのメカニズムから引き出されたいくつかのテクニックを組み合わせていることを示している。
広く使用されているエージェントベンチマークは、攻撃空間の一部だけをテストする。
PIAtlasは、この攻撃空間を理解し、ベンチマークカバレッジを改善し、レッドチームとディフェンスを導くための共通の基盤を提供する。
関連論文リスト
- Beyond Over-Refusal: Defending Indirect Prompt Injection via Latent Instruction Manifolds [46.845766815799585]
大規模言語モデル(LLM)は複雑なエコシステムに統合されている。
LLMは、理論的証拠と経験的証拠の両方で本質的にデータから命令を分離することができる。
AEGIS (Adaptive Ensemble Guard for Injection Shielding) を提案する。
論文 参考訳(メタデータ) (2026-08-23T07:12:33Z) - A Novel Latent-Class Attack and its Detection by Class Subspace Orthogonalization [8.097232848713086]
我々は、潜伏クラス攻撃をダブする新たなデータ中毒攻撃を提案する。
このような攻撃は、AIベースのアクセス制御システムを破壊するために使用できる。
また,この攻撃を検出するための訓練後防御も提案する。
論文 参考訳(メタデータ) (2026-06-27T23:40:17Z) - Checkpoint-GCG: Auditing and Attacking Fine-Tuning-Based Prompt Injection Defenses [10.08464073347558]
細調整による防御に対するホワイトボックス攻撃であるCheckpoint-GCGを導入する。
最強防衛に対する攻撃成功率(ASR)を最大96%まで達成できるチェックポイントGCGを示す。
論文 参考訳(メタデータ) (2025-05-21T16:43:17Z) - Formalizing and Benchmarking Prompt Injection Attacks and Defenses [59.57908526441172]
本稿では,迅速なインジェクション攻撃を形式化するフレームワークを提案する。
フレームワークに基づいて、既存のものを組み合わせることで、新たな攻撃を設計します。
我々の研究は、将来のプロンプトインジェクション攻撃と防御を定量的に評価するための共通のベンチマークを提供する。
論文 参考訳(メタデータ) (2023-10-19T15:12:09Z) - PRAT: PRofiling Adversarial aTtacks [52.693011665938734]
PRofiling Adversarial aTacks (PRAT) の新たな問題点について紹介する。
敵対的な例として、PRATの目的は、それを生成するのに使用される攻撃を特定することである。
AIDを用いてPRATの目的のための新しいフレームワークを考案する。
論文 参考訳(メタデータ) (2023-09-20T07:42:51Z) - Zero-Query Transfer Attacks on Context-Aware Object Detectors [95.18656036716972]
敵は、ディープニューラルネットワークが誤った分類結果を生成するような摂動画像を攻撃する。
自然の多目的シーンに対する敵対的攻撃を防御するための有望なアプローチは、文脈整合性チェックを課すことである。
本稿では,コンテキスト整合性チェックを回避可能な,コンテキスト整合性攻撃を生成するための最初のアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-29T04:33:06Z) - Towards A Conceptually Simple Defensive Approach for Few-shot
classifiers Against Adversarial Support Samples [107.38834819682315]
本研究は,数発の分類器を敵攻撃から守るための概念的簡便なアプローチについて検討する。
本稿では,自己相似性とフィルタリングの概念を用いた簡易な攻撃非依存検出法を提案する。
ミニイメージネット(MI)とCUBデータセットの攻撃検出性能は良好である。
論文 参考訳(メタデータ) (2021-10-24T05:46:03Z) - ExAD: An Ensemble Approach for Explanation-based Adversarial Detection [17.455233006559734]
説明手法のアンサンブルを用いて逆例を検出するフレームワークであるExADを提案する。
3つの画像データセットに対する6つの最先端の敵攻撃によるアプローチの評価を行った。
論文 参考訳(メタデータ) (2021-03-22T00:53:07Z) - Universal Adversarial Attacks with Natural Triggers for Text
Classification [30.74579821832117]
我々は、自然の英語のフレーズに近づきながら、分類システムを混乱させる敵攻撃を開発する。
我々の攻撃は、従来のモデルよりも識別が困難でありながら、分類タスクのモデル精度を効果的に低下させる。
論文 参考訳(メタデータ) (2020-05-01T01:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。