論文の概要: PIDS-Bench: Evaluating Prompt-Injection Detectors Under Over-Defense, Obfuscation, and Distribution Shift

• arxiv url: http://arxiv.org/abs/2609.15017v1
• Date: Mon, 14 Sep 2026 04:28:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.071128
• Title: PIDS-Bench: Evaluating Prompt-Injection Detectors Under Over-Defense, Obfuscation, and Distribution Shift
• Title（参考訳）: PIDS-Bench:過密度・難燃・配電シフト下におけるプロンプト注入検知器の評価
• Abstract要約: PIDS-Benchは,攻撃検出と偽陽性行動の良否を一定の閾値で共同評価するベンチマークである。 強い負の増大は、硬化したストレス入力に対する過度な防御をほとんど排除するが、外部ソースのプロンプトにほとんど無傷にしておく。
• 参考スコア（独自算出の注目度）: 0.2291770711277359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt-injection detectors are typically evaluated using aggregate F1 on in-distribution test data, which offers limited insight into behavior under distribution shift, particularly on the benign side of the decision boundary, where false positives impose direct operational cost yet are seldom measured. We present PIDS-Bench, a frozen multi-axis benchmark that jointly evaluates attack detection and benign false-positive behavior at fixed thresholds, spanning in-distribution inputs, hard-benign prompts that mimic injection structure without malicious intent, obfuscated attacks, and domain and structural distribution shifts. We evaluate seven detectors (learned baselines, external prompt-injection classifiers, and broad-safety comparators) alongside a rule-based lower-bound reference. Multi-axis evaluation exposes a failure mode that aggregate F1 conceals. A detector exceeding F1 = 0.98 on the held-out split still misclassifies roughly one-third of an externally-sourced benign subset drawn from public corpora and restricted to security-adjacent content. Across a full threshold sweep and five training seeds, no internal detector reaches an operating point satisfying F1 >= 0.95 and hard-benign FPR <= 0.10 together on this stress distribution. Decomposing by provenance, we find that hard-negative augmentation nearly eliminates over-defense on curated stress inputs but leaves it substantially intact on externally-sourced prompts, a pattern we term provenance-sensitive over-defense. The asymmetry holds across both fine-tuned architectures and does not diminish as the augmentation pool grows, with the externally-sourced FPR remaining far above the 0.10 target. Whether augmentation matched to the externally-sourced distribution would close this gap is untested; threshold calibration and curated-style augmentation alone do not.
• Abstract（参考訳）: プロンプト注入検出器は通常、分配試験データ上の集合F1を用いて評価されるが、これは分布シフトの下での挙動、特に偽陽性が直接的な運用コストを課すような決定境界の良性側での限られた洞察を与える。 本報告では,攻撃検出と誤陽性行為を一定閾値で共同評価する凍結型多軸ベンチマークPIDS-Benchについて,悪意のない注入構造を模倣するハードベニグインプロンプト,難解な攻撃,ドメインおよび構造分布のシフトについて述べる。 ルールベースの低バウンド参照とともに,7つの検出器(学習ベースライン,外部インジェクション分類器,広安全コンパレータ)を評価した。 マルチ軸評価は、F1の隠蔽を集約する障害モードを公開する。 ホールドアウトスプリット上のF1 = 0.98を超える検出器は、公的コーパスから引き出された外部ソースの良性部分集合のおよそ3分の1を誤って分類し、セキュリティに配慮した内容に制限する。 フルしきい値と5つの訓練種子の間において、内部検出器はF1 >= 0.95 の操作点に到達せず、FPR <= 0.10 は、この応力分布で結合する。 証明によって分解すると、ハード負の増悪は、硬化したストレス入力に対する過剰防御をほぼ排除するが、外部ソースのプロンプトには実質的に無傷であることがわかった。 非対称性は両方の微調整されたアーキテクチャにまたがって保持され、拡張プールが成長するにつれて減少せず、外部ソースのFPRは0.10の目標よりもはるかに高いままである。 拡張は外部ソースの分布にマッチするか、このギャップを閉じるかは未検証であり、しきい値のキャリブレーションとキュレートされたスタイルの増大だけでは証明されない。

関連論文リスト

• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• Interpretable Uncertainty Routing Separating Emotion Ambiguity from Distribution Shift in Facial Expression Recognition [0.0]
  Uncertainty-Aware Routing (UAR)は、あいまいさとシフトの分離を利用する推論時ルーティングメカニズムである。 提案した二重バリデーションプロトコルは,アレータリックがスピアマン相関とアノテータの不一致を回復することを明らかにする。 UARは、一致したアウト・オブ・ディストリビューション拒絶率において、単一不確実性ルーティングよりも約1.8倍曖昧な分散面を保持する。
  論文  参考訳（メタデータ） (2026-06-21T23:54:44Z)
• Nous: An Attempt to Extract and Inject the Cognition Behind Prediction-Market Behavior [0.0]
  人間の認知の多様性が行動から回復し、LSMエージェントに移行できるかどうかを問う。 Nousは、実際のポリマーケット取引活動から構造化された8次元の行動プロファイルを抽出し、プロンプトを通じてエージェントに注入する。 我々は,Nousを認知的モノカルチャー問題と即時治療の限界を計測するものとして位置づける。
  論文  参考訳（メタデータ） (2026-06-11T08:18:25Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• The Distributed Detectability Band Against Marginal-Preserving Attacks [0.0]
  AIコントロールは、個々のエージェントアクションをスコアし、誤った振る舞いを検出する。 本当の害は、多くの良心的なステップに分散することができ、各ステップ毎のアラームよりそれぞれ低い。 我々は、限界保存、相関符号化された分散サボタージュ攻撃を構築する。
  論文  参考訳（メタデータ） (2026-06-09T06:04:30Z)
• Quantum Machine Learning for Cyber-Physical Anomaly Detection in Unmanned Aerial Vehicles: A Leakage-Free Evaluation with Proxy-Audited Feature Sets [0.0]
  無人航空機(英語: Unmanned Aviation Vehicle、UAV)は、ネットワーク化されたアビオニクスとオンボードセンサー融合にまたがるサイバー物理システムである。 マルチセンサTLM:UAVベンチマークを用いて,UAV異常検出のための量子機械学習のリークフリー評価を行う。
  論文  参考訳（メタデータ） (2026-05-19T01:05:16Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Off-Policy Evaluation in Markov Decision Processes under Weak Distributional Overlap [3.351714665243138]
  我々は,マルコフ決定過程(MDP)における非政治的評価の課題を再考し,分布重なりというより弱い概念の下で検討する。 本稿では,この環境での良好な性能を期待できる2重頑健性(TDR)推定器のクラスを紹介する。 我々の実験では、強い分布重なりが保たない場合、適切な乱れが、政治外の正確な評価を可能にする上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2024-02-13T03:55:56Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。