論文の概要: Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection

• arxiv url: http://arxiv.org/abs/2609.24801v1
• Date: Mon, 21 Sep 2026 16:01:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.013412
• Title: Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection
• Title（参考訳）: ガードレールの復号化:プロンプト注入検出のXAI誘導摂動解析
• Abstract要約: 大規模言語モデル(LLM)は運用システムにますます導入され、迅速なインジェクションやジェイルブレイク攻撃を通じて敵の操作に晒されることへの懸念が高まっている。 本稿では、プロンプトガード2が悪質なプロンプトと悪質なプロンプトをどう区別するかを分析するために、説明可能な人工知能(XAI)技術を適用した探索ケーススタディを提案する。 プロンプトガード2の判断は、いくつかの支配的ではなく、多くのトークンの累積的な寄与に依存していることがわかったが、サリエンシ誘導の同義語置換と文レベルの言い換えは、テキストの適度な部分だけを変更しながら予測を覆すことができる。
• 参考スコア（独自算出の注目度）: 39.146761527401424
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed in production systems, raising concerns about their exposure to adversarial manipulation through prompt injection and jailbreak attacks. Classifier-based guardrails, such as Prompt Guard 2, are widely used as a first line of defense against such attacks, but their internal decision logic is largely opaque to both defenders and attackers. This paper presents an exploratory case study that applies explainable artificial intelligence (XAI) techniques to analyze how Prompt Guard 2 distinguishes malicious from benign prompts. We conduct four experiments to probe this question empirically. Guided by Vanilla Gradient and SHAP attributions, we find that Prompt Guard 2's decisions rely on the cumulative contribution of many tokens rather than a few dominant ones, yet saliency-guided synonym substitution and sentence-level paraphrasing can flip its predictions while altering only a moderate fraction of the text, in some cases yielding a successful jailbreak against the underlying LLM. A dataset-scale saliency analysis further shows that undetected injection prompts systematically lack the lexical markers the classifier relies on. We discuss the implications of these findings for the design and evaluation of classifier-based guardrails, and argue that explanation methods intended to support transparency can simultaneously lower the cost of constructing successful adversarial bypasses.
• Abstract（参考訳）: 大規模言語モデル(LLM)は運用システムにますます導入され、迅速なインジェクションやジェイルブレイク攻撃を通じて敵の操作に晒されることへの懸念が高まっている。 プロンプトガード2のような分類器ベースのガードレールは、このような攻撃に対する第一線として広く使用されているが、その内部決定ロジックは、守備側と攻撃側の両方にとって不透明である。 本稿では、プロンプトガード2が悪質なプロンプトと悪質なプロンプトをどう区別するかを分析するために、説明可能な人工知能(XAI)技術を適用した探索ケーススタディを提案する。 我々はこの問題を経験的に調査する4つの実験を行った。 バニラ・グラディエント(Vanilla Gradient)とSHAP属性(SHAPアトリビューション)によって導かれ、プロンプトガード2の判断は、いくつかの支配的ではなく、多くのトークンの累積的な寄与に依存していることがわかった。 データセットスケールの塩分濃度分析により、検出されていない注入が、分類器が依存する語彙マーカーを体系的に欠いていることを示す。 分類器をベースとしたガードレールの設計と評価にこれらの知見がもたらす影響について論じるとともに,透明性を支援するための説明手法は,対向バイパスを成功させるコストを同時に低減できると主張している。

関連論文リスト

• Robust Context-Aware Detection of Malicious Instructions in Text [22.27527497326564]
  この脆弱性に対処する基本的な課題は、与えられたテキストを良質で悪意のある文に分割することに成功していることである。 本稿では,文脈と問合せの両方を意識した悪意のある文分類手法を提案する。 提案手法は静的攻撃下での最先端のIPI防御ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-05T21:44:44Z)
• Bias Injection Attacks on RAG Databases and Sanitization Defenses [9.638140849760108]
  本稿では,検索強化世代(RAG)システムにおけるベクトルデータベースに対する攻撃と防御について検討する。 バイアス注入攻撃は、事実的に正しいが、意味的に偏ったパスを知識ベースに挿入する。
  論文  参考訳（メタデータ） (2025-11-30T09:27:18Z)
• PADBen: A Comprehensive Benchmark for Evaluating AI Text Detectors Against Paraphrase Attacks [2.540711742769252]
  そこで本研究では,AIGT識別のために設計された検出システムに対して,繰り返しパラメタしたテキストが回避される理由について検討する。 パラフレーズ攻撃シナリオに対する検出ロバスト性を系統的に評価した最初のベンチマークであるPADBenを紹介する。
  論文  参考訳（メタデータ） (2025-11-01T05:59:46Z)
• LeakSealer: A Semisupervised Defense for LLMs Against Prompt Injection and Leakage Attacks [7.115093658017371]
  LeakSealerは、法医学的な洞察のための静的分析とHuman-In-The-Loopパイプラインの動的防御を組み合わせた、モデルに依存しないフレームワークである。 筆者らはLeakSealerを,(1)公開ベンチマークデータセットを用いたジェイルブレイクの試み,(2)ラベル付きLLMインタラクションのキュレートデータセットによってサポートされているPIIリークの2つのシナリオで実証的に評価した。
  論文  参考訳（メタデータ） (2025-08-01T13:04:28Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Interpretability is a Kind of Safety: An Interpreter-based Ensemble for Adversary Defense [28.398901783858005]
  我々は,強固な防御敵に対するX-Ensembleと呼ばれるインタプリタベースのアンサンブルフレームワークを提案する。 X-エンサンブルはランダムフォレスト(RF)モデルを用いて、準検出器をアンサンブル検出器に結合し、敵のハイブリッド攻撃防御を行う。
  論文  参考訳（メタデータ） (2023-04-14T04:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。