論文の概要: When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

• arxiv url: http://arxiv.org/abs/2602.14161v1
• Date: Sun, 15 Feb 2026 14:21:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.677727
• Title: When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift
• Title（参考訳）: ベンチマークが嘘をついたとき: 真の分布シフトの下で悪意のあるプロンプト分類器を評価する
• Authors: Max Fomin,
• Abstract要約: 有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting prompt injection and jailbreak attacks is critical for deploying LLM-based agents safely. As agents increasingly process untrusted data from emails, documents, tool outputs, and external APIs, robust attack detection becomes essential. Yet current evaluation practices and production systems have fundamental limitations. We present a comprehensive analysis using a diverse benchmark of 18 datasets spanning harmful requests, jailbreaks, indirect prompt injections, and extraction attacks. We propose Leave-One-Dataset-Out (LODO) evaluation to measure true out-of-distribution generalization, revealing that the standard practice of train-test splits from the same dataset sources severely overestimates performance: aggregate metrics show an 8.4 percentage point AUC inflation, but per-dataset gaps range from 1% to 25% accuracy-exposing heterogeneous failure modes. To understand why classifiers fail to generalize, we analyze Sparse Auto-Encoder (SAE) feature coefficients across LODO folds, finding that 28% of top features are dataset-dependent shortcuts whose class signal depends on specific dataset compositions rather than semantic content. We systematically compare production guardrails (PromptGuard 2, LlamaGuard) and LLM-as-judge approaches on our benchmark, finding all three fail on indirect attacks targeting agents (7-37% detection) and that PromptGuard 2 and LlamaGuard cannot evaluate agentic tool injection due to architectural limitations. Finally, we show that LODO-stable SAE features provide more reliable explanations for classifier decisions by filtering dataset artifacts. We release our evaluation framework at https://github.com/maxf-zn/prompt-mining to establish LODO as the appropriate protocol for prompt attack detection research.
• Abstract（参考訳）: LLMベースのエージェントを安全にデプロイするには、迅速なインジェクションとジェイルブレイク攻撃の検出が重要である。 メール、ドキュメント、ツールアウトプット、外部APIから信頼できないデータを処理するエージェントが増えているため、堅牢な攻撃検出が不可欠である。 しかし、現在の評価プラクティスと生産システムには根本的な制限があります。 有害な要求、ジェイルブレイク、間接的なプロンプトインジェクション、および抽出攻撃にまたがる18のデータセットの多種多様なベンチマークを用いて、包括的分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するためのLODO (Leave-One-Dataset-Out) 評価を提案し,同じデータセットソースからの列車分割の標準的な実践が性能を著しく過大評価していることを明らかにした。 そこで,Sparse Auto-Encoder (SAE) の特徴係数をLODOフォールドで解析し,上位機能のうち28%がセマンティックコンテンツではなく,特定のデータセット構成に依存したデータセット依存のショートカットであることを確認した。 運用ガードレール(PromptGuard 2とLlamaGuard)とLLM-as-judgeアプローチをベンチマークで体系的に比較し,エージェントを標的とした間接攻撃(7～37%の検出)で3つすべてフェールし,PromptGuard 2とLlamaGuardは,アーキテクチャ上の制約によりエージェントツールインジェクションを評価することができないことを確認した。 最後に、LODO-stable SAE機能により、データセットのアーティファクトをフィルタリングすることで、分類器の決定をより信頼性の高い説明ができることを示す。 我々は、攻撃検出研究の迅速化のための適切なプロトコルとしてLODOを確立するために、https://github.com/maxf-zn/prompt-miningで評価フレームワークをリリースする。

関連論文リスト

• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• Towards Compositional Generalization in LLMs for Smart Contract Security: A Case Study on Reentrancy Vulnerabilities [35.39583123277091]
  本稿では,原子タスクの分解と融合に基づくポストトレーニングアルゴリズムを提案する。 再帰的脆弱性検出タスクを4つの線形独立原子タスクに分解する。 合成データセットのトレーニングにより、3つのコンパイラ検証データセットを生成する。 次に、Slitherツールを使用して、制御フローグラフとデータフローグラフから構造情報を抽出する。
  論文  参考訳（メタデータ） (2026-01-11T13:52:07Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• LeakSealer: A Semisupervised Defense for LLMs Against Prompt Injection and Leakage Attacks [7.115093658017371]
  LeakSealerは、法医学的な洞察のための静的分析とHuman-In-The-Loopパイプラインの動的防御を組み合わせた、モデルに依存しないフレームワークである。 筆者らはLeakSealerを,(1)公開ベンチマークデータセットを用いたジェイルブレイクの試み,(2)ラベル付きLLMインタラクションのキュレートデータセットによってサポートされているPIIリークの2つのシナリオで実証的に評価した。
  論文  参考訳（メタデータ） (2025-08-01T13:04:28Z)
• Sentinel: SOTA model to protect against prompt injections [0.0]
  大規模言語モデル(LLM)はますます強力になるが、インジェクション攻撃の迅速化には弱い。 本稿では,応答型/ModernBERT大規模アーキテクチャに基づく新しい検出モデルであるSentinelを紹介する。 包括的で目に見えない内部テストセットでは、センチネルは平均精度0.987、F1スコア0.980を示す。
  論文  参考訳（メタデータ） (2025-06-05T14:07:15Z)
• CASTLE: Benchmarking Dataset for Static Code Analyzers and LLMs towards CWE Detection [2.5228276786940182]
  本稿では,異なる手法の脆弱性検出能力を評価するためのベンチマークフレームワークであるCASTLEを紹介する。 我々は,25個のCWEをカバーする250個のマイクロベンチマークプログラムを手作りしたデータセットを用いて,静的解析ツール13,LLM10,形式検証ツール2を評価した。
  論文  参考訳（メタデータ） (2025-03-12T14:30:05Z)
• Detection of Adversarial Supports in Few-shot Classifiers Using Feature Preserving Autoencoders and Self-Similarity [89.26308254637702]
  敵対的なサポートセットを強調するための検出戦略を提案する。 我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。 提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
  論文  参考訳（メタデータ） (2020-12-09T14:13:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。