論文の概要: Prompt-Injection Probes Learn the Conversation, Not Just the Injection

• arxiv url: http://arxiv.org/abs/2610.18408v1
• Date: Tue, 13 Oct 2026 13:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:29:35.606091
• Title: Prompt-Injection Probes Learn the Conversation, Not Just the Injection
• Title（参考訳）: Prompt-Injection Probes learn the Conversation, not the Injection
• Abstract要約: モデルに隠された状態の線形プローブは、間接的なプロンプトインジェクションのための安価なモニターとして使用される。 トレーニングアプリケーションでは、トレーニングデータのみを変更することで、誤ったアラームが41～80%から4～27%に削減される。 新しいアプリケーションでは、誤報は低いが、検出はモデルやしきい値の設定方法によって異なる。
• 参考スコア（独自算出の注目度）: 4.0712351781379255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear probes on a model's hidden states are used as cheap monitors for indirect prompt injection: they screen the tool outputs an agent reads and send suspicious ones to a slower second check, so every false alarm has a cost. But a probe learns whatever separates its training examples. The standard evaluation of injection probes can be passed without the model: conversation position and text lengths alone reach 0.91-0.98 AUROC. When each attack is compared with the same conversation without the injection, or with harmless text formatted like an injection, standard probes flag most of these harmless cases. We add such cases to the training data as matched negatives. Across six open models, in applications seen during training and at the default threshold, changing only the training data cuts false alarms on injection-free conversations from 41-80% to 4-27%, and on harmless look-alikes from 92-98% to 3-16%. With a threshold set on normal traffic, our probe still catches a median 95% of the attacks that fooled the agent (91% without our data). In new applications, false alarms stay low, but detection depends on the model and on how the threshold is set. The same data also helps a text-only filter.
• Abstract（参考訳）: モデルに隠された状態の線形プローブは、間接的なプロンプトインジェクションのための安価なモニターとして使用される。 しかし、調査員はトレーニングの例を何に分けても学習する。 インジェクションプローブの標準的な評価は、会話位置とテキストの長さだけで0.91-0.98 AUROCに達するモデルなしで行うことができる。 それぞれの攻撃が、インジェクションなしで同じ会話や、インジェクションのようにフォーマットされた無害なテキストと比較された場合、標準プローブは、ほとんどの無害なケースにフラグを付ける。 トレーニングデータに、一致した負のケースを追加します。 トレーニング中のアプリケーションとデフォルトのしきい値で見られる6つのオープンモデルに対して、トレーニングデータのみを変更することで、インジェクションなしの会話に対する偽のアラームが41～80%から4～27%、無害なルックアワーが92～98%から3～16%に削減された。 通常のトラフィックにしきい値が設定されているため、我々の調査では、エージェントを騙した攻撃の95%(データ無しでは91%)の中央値を取得しています。 新しいアプリケーションでは、誤報は低いが、検出はモデルやしきい値の設定方法によって異なる。 同じデータがテキストのみのフィルタにも役立ちます。

関連論文リスト

• Telling FIBS: Probes Effectively Detect Sabotage and Catch Unverbalized Deception [5.920341553676674]
  プローブによるホワイトボックスの偽装検出は、フロンティア監視設定までスケールアップ可能であることを示す。 SHADE-Arenaは98.4%、BASH-Arenaは98.0%である。 効果的なプローブのフロンティア展開を支援するために、Fibsと呼ばれるトレーニングデータセットをリリースしています。
  論文  参考訳（メタデータ） (2026-10-08T17:58:13Z)
• BASIS: Breach-Aware Selective Prompt Injection Shielding with Prefill Attention Probes [28.166699360211993]
  既存の検出方法は、注入の有無のみを検出し、検出に応答しない。 本稿では,この過度な拒絶問題に対処するために,ロバストネス・アウェア・プロンプト・インジェクション・ディフェンス(Robustness-Aware Prompt Injection Defense)を提案する。 実験により、ロバスト性は、安全な攻撃サンプルに対する過剰な拒絶を著しく低減しつつ、ほぼ完璧な噴射検出を維持していることが示された。
  論文  参考訳（メタデータ） (2026-08-08T09:32:07Z)
• Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift [0.0]
  私は、ProtectAI-v2とPrompt-Guard-2チェックポイントの3つの放出検出器を1つのソース校正閾値で評価した。 重大度指標Sを報告し、検知器が犯した攻撃に対する自信と、偽陰性率と差別を報告します。 3つとも間接的行動ヒジャック注入を確実に通過し、2つのベンダーに共通する盲点と4倍の大きさの範囲を達成します。
  論文  参考訳（メタデータ） (2026-06-21T20:30:12Z)
• DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks [87.66245688589977]
  LLM統合されたアプリケーションとエージェントは、インジェクション攻撃に弱い。 検出方法は、入力が注入プロンプトによって汚染されているかどうかを判定することを目的とする。 本研究では,迅速なインジェクション攻撃を検出するゲーム理論手法であるDataSentinelを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:26:21Z)
• Can Indirect Prompt Injection Attacks Be Detected and Removed? [94.67980597764245]
  間接的インジェクション攻撃の検出・除去の可能性について検討した。 検出のために,既存のLCMとオープンソースの検出モデルの性能を評価する。 そこで本研究では,(1) インジェクション命令を含む部分をセグメント化して除去するセグメンテーション除去法,(2) 抽出モデルを訓練してインジェクション命令を識別・除去する抽出除去法,の2つの直感的手法を評価する。
  論文  参考訳（メタデータ） (2025-02-23T14:02:16Z)
• Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
  周波数領域に基づく一般化されたバックドア攻撃手法を提案する。 トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。 我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
  論文  参考訳（メタデータ） (2022-07-09T07:05:53Z)
• DAD: Data-free Adversarial Defense at Test Time [21.741026088202126]
  ディープモデルは敵の攻撃に非常に敏感である。 プライバシは、トレーニングデータではなく、トレーニングされたモデルのみへのアクセスを制限する、重要な関心事になっている。 我々は,「訓練データと統計値の欠如によるテスト時敵防衛」という全く新しい問題を提案する。
  論文  参考訳（メタデータ） (2022-04-04T15:16:13Z)
• MINIMAL: Mining Models for Data Free Universal Adversarial Triggers [57.14359126600029]
  我々は、NLPモデルから入力非依存の逆のトリガーをマイニングするための、新しいデータフリーアプローチ、MINIMALを提案する。 我々はスタンフォード・センティメント・ツリーバンクの正のクラスを93.6%から9.6%に減らした。 SNLI(Stanford Natural Language Inference)では、このシングルワードトリガーによって、エンターメントクラスの精度が90.95%から0.6%未満に低下する。
  論文  参考訳（メタデータ） (2021-09-25T17:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。