論文の概要: Are You Reading the Right Thing? Rethinking Internal Signals for Prompt-Injection Detection

• arxiv url: http://arxiv.org/abs/2610.19452v1
• Date: Wed, 14 Oct 2026 02:37:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.921198
• Title: Are You Reading the Right Thing? Rethinking Internal Signals for Prompt-Injection Detection
• Title（参考訳）: 正しいものを読んでいるか? プロンプト注入検出のための内部信号の再検討
• Abstract要約: 本研究では,5つの表現読解法が,共通構造的間接的インジェクション設定の下でどのように変化するかを検討する。 攻撃が成功した場合や、そうでない場合には、各検知手法が攻撃を検知する能力について分析する。
• 参考スコア（独自算出の注目度）: 4.126142184762279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several recent studies propose detecting prompt injections from a language model's internal state. However, these methods do not measure a single security property. Residual-stream probes, attention scores, role projections, exposure probes, and concept readouts may capture injection presence, recognition, information routing, or behavioral influence. It is therefore unclear what differences in prompt-injection detection performance reveal about the internal signals these methods read. We study how five representation-reading methods vary under a common structured indirect prompt-injection setup on Qwen3.6-35B-A3B and Gemma-4-26B-A4B-it. We evaluate each method by how well it distinguishes injected prompts from benign controls. We then further analyze each detection method's ability to detect attacks in cases where they are successful and in cases where they are not. This helps us better assess what properties each detection method might rely on. Methods trained to detect injection presence or attack-related concepts generally separate unsuccessful injections more strongly from benign inputs, whereas attention diversion, exposure, and role-confusion-based methods separate successful injections more strongly on both models. Attention Tracker provides the strongest consistent successful injection separation, reaching 0.949 AUROC on Qwen and 0.887 on Gemma. These results suggest that signals closer to response formation may better encode information about an attack's success, and that detection performance can depend strongly on the prompt template. We share the data associated with this study at https://anonymous.4open.science/r/paper-evaluation-data-7877
• Abstract（参考訳）: 近年,言語モデルの内部状態から即時注入を検出する手法が提案されている。 しかし、これらの方法は単一のセキュリティ特性を測るものではない。 残留ストリームプローブ、アテンションスコア、ロールプロジェクション、露出プローブ、コンセプトリードアウトは、注入の有無、認識、情報ルーティング、行動の影響を捉えることができる。 したがって、これらの手法が読み取った内部信号について、プロンプト・インジェクション検出性能の違いが何であるかは明らかでない。 我々は,Qwen3.6-35B-A3B と Gemma-4-26B-A4B-it の共通構造的間接的インジェクション設定の下で,5つの表現読解法がどのように変化するかを検討した。 提案手法は, 誘導プロンプトと良性制御とをいかに区別するかによって評価する。 さらに,攻撃が成功した場合にも,そうでない場合にも,各検知手法が攻撃を検知する能力について分析する。 これにより、各検出メソッドが依存するプロパティを評価するのに役立ちます。 注射の有無や攻撃関連概念を検出するために訓練された手法は一般的に、良心的な入力からより強く失敗する注入を分離するが、注意散逸、露光、ロールコンフュージョンに基づく手法は、両方のモデルでより強く成功した注入を分離する。 Attention Trackerは、Qwenでは0.949 AUROC、Gemmaでは0.887に、最も一貫して成功したインジェクション分離を提供する。 これらの結果から, 応答生成に近い信号は, 攻撃成功に関する情報を符号化し, 検出性能はプロンプトテンプレートに強く依存する可能性が示唆された。 我々はこの研究に関連するデータをhttps://anonymous.4open.science/r/paper-evaluation-data-7877で共有する。

関連論文リスト

• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)
• Can Indirect Prompt Injection Attacks Be Detected and Removed? [94.67980597764245]
  間接的インジェクション攻撃の検出・除去の可能性について検討した。 検出のために,既存のLCMとオープンソースの検出モデルの性能を評価する。 そこで本研究では,(1) インジェクション命令を含む部分をセグメント化して除去するセグメンテーション除去法,(2) 抽出モデルを訓練してインジェクション命令を識別・除去する抽出除去法,の2つの直感的手法を評価する。
  論文  参考訳（メタデータ） (2025-02-23T14:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。