論文の概要: From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection

• arxiv url: http://arxiv.org/abs/2610.20907v1
• Date: Wed, 14 Oct 2026 20:34:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.065929
• Title: From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection
• Title（参考訳）: 検出から決定へ:プロンプト注入検出のための校正とデフレ
• Abstract要約: 我々は,Llama Prompt Guard 2 分類器 (22M, 86M) と LLM 判定器 (47,611例) のネイティブ確率決定モデル (Jev) を評価した。 凍結評価プロトコルの下で,検出性能,確率校正,許容ブロック遅延ポリシを評価する。
• 参考スコア（独自算出の注目度）: 0.27728956081909345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt-injection defenses are commonly evaluated as binary detectors, although deployed LLM applications must make operational decisions about whether to allow, block, or escalate potentially malicious inputs. Recent probabilistic decision models aim to support such decisions through calibrated confidence estimates, but their reliability under distribution shift remains uncertain. We evaluate a native probabilistic decision model (Jev), two Llama Prompt Guard 2 classifiers (22M and 86M), and an LLM-based judge on 47,611 held-out examples spanning direct and indirect prompt injections, hard-benign inputs, obfuscation, and distribution shift. Using separate development and calibration splits, we assess detection performance, probability calibration, and allow-block-defer policies under a frozen evaluation protocol. The LLM judge achieves the highest overall discrimination (AUROC 0.897), followed by Jev (0.871), Prompt Guard 2 86M (0.757), and Prompt Guard 2 22M (0.714). However, Jev's native probabilities do not consistently outperform post-hoc calibrated classifier scores, and temperature scaling improves calibration without improving discrimination. At an empirical false-negative-rate target of 1%, all evaluated gate-reviewer systems require more than 91.8% escalation and incur substantial false-positive rates. These findings demonstrate that probabilistic outputs alone do not establish reliable security decisions under distribution shift. Effective LLM security systems must jointly evaluate detection, calibration, reviewer behavior, and operational decision policies.
• Abstract（参考訳）: プロンプト注入防御はバイナリ検出器として一般的に評価されるが、デプロイされたLLMアプリケーションは、潜在的に悪意のある入力を許可、ブロック、エスカレートするかどうかについて運用上の決定をしなければならない。 近年の確率的決定モデルは, 信頼度推定の校正による決定を支援することを目的としているが, 分布変化による信頼性はいまだ不確実である。 我々は,直接および間接的インジェクション,ハードベニグインプット,難易度,難解度,分布シフトにまたがる47,611例のネイティブ確率決定モデル (Jev) と2つのLlama Prompt Guard 2分類器 (22M,86M) とLLMベースの判定器について検討した。 異なる開発とキャリブレーションの分割を用いて、凍結評価プロトコルの下で検出性能、確率キャリブレーション、許容ブロック遅延ポリシーを評価する。 LLMの審査員は、AUROC 0.897、Jev (0.871)、Prompt Guard 2 86M (0.757)、Prompt Guard 2 22M (0.714)が続く。 しかしながら、Jevのネイティブ確率は、ポストホック校正された分類器のスコアを一貫して上回るものではなく、温度スケーリングは判別を改善することなく校正を改善する。 実証的な偽陰性レートの1%のターゲットでは、すべての評価されたゲートリビューアシステムは91.8%以上のエスカレーションを必要とし、かなりの偽陽性率をもたらす。 これらの結果から,確率的アウトプットだけでは,分散シフト下での信頼性の高いセキュリティ決定が確立されていないことが示唆された。 効果的なLLMセキュリティシステムは、検知、校正、レビュアーの振る舞い、および運用上の決定ポリシーを共同で評価する必要がある。

関連論文リスト

• From Probe Scores to Alarm Policies: Operational Validity of Activation Monitors for Language-Model Agents [0.0]
  アクティベーションプローブは、受信動作特性曲線(AUROC)の下で高い領域を持つ言語モデルの安全性関連特性を予測することができる 配備されたエージェントモニターは、厳格な偽アラーム予算の下で閾値付きアラーム決定を行う。 我々は,モニタの目標,可観測性,アイデンティティ,タイミング,介入ユニット,コンパレータ,キャリブレーション,コストを修正する操作検証契約を導入する。
  論文  参考訳（メタデータ） (2026-10-03T15:11:21Z)
• Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation [2.8852978050220766]
  我々は,Jev,Laya,Decider,Bespoke Nimbleを特殊分類器および言語モデル判定器に対して評価する。 全体的な精度が高く、平均校正誤差が低いと、特定のグループ内で高い信頼性で安全な攻撃を隠蔽できる。 開発者はレビュールールの前方にある安全でないインプットをテストし、レビューモデルのミスを測定し、それらのインプットに対して誤ったアラームを無視する必要がある。
  論文  参考訳（メタデータ） (2026-09-27T09:30:13Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• From Checker to Forecaster: Code-Owned Evaluation of Model-Generated Strategic Routes Under Delayed Ground Truth [0.0]
  RouteCastはモデル生成型戦略ルートの仕組みをインスタンス化する。 暫定予測が作成され、後の結果で予測が評価される。 将来的な校正、因果決定の改善、経路分割の優位性、ドメイン間の妥当性は確立していない。
  論文  参考訳（メタデータ） (2026-07-13T00:36:48Z)
• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
  本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。 キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
  論文  参考訳（メタデータ） (2025-04-20T09:20:55Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。