論文の概要: Case-Level Verification in Scanner-LLM Cascades: Overcoming the Alert Aggregation Bottleneck to Expand the FRR-TPR Trade-off Space
- arxiv url: http://arxiv.org/abs/2610.08406v1
- Date: Tue, 06 Oct 2026 14:15:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.026624
- Title: Case-Level Verification in Scanner-LLM Cascades: Overcoming the Alert Aggregation Bottleneck to Expand the FRR-TPR Trade-off Space
- Title（参考訳）: 走査型LLMカスケードにおけるケースレベル検証:FRR-TPRトレードオフ空間の拡大に向けてのアレルト集積ボトルネックの克服
- Abstract要約: 動的アプリケーションセキュリティテスト(DAST)スキャナーは高いリコールを達成するが、多数の偽陽性を生成する。
LLMは、独立検出に使用される場合、非常に高いリコール(95.4%-100%)を達成するが、非常に高い偽陽性率(49.6%-85.0%)を示す。
ケースレベル毎の検証戦略を導入し、決定の粒度を警告レベルからインスタンスレベルにシフトします。
- 参考スコア（独自算出の注目度）: 5.41531730877356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic Application Security Testing (DAST) scanners achieve high recall but also produce a large number of false positives, resulting in substantial manual triage costs. Large Language Models (LLMs), when used for independent detection, achieve extremely high recall (95.4%-100%) but also exhibit prohibitively high false positive rates (49.6%-85.0%), precluding their use as standalone replacements for scanners. A natural solution is a two-stage cascade consisting of scanner detection followed by LLM verification. However, a verification-granularity issue that has long been overlooked in practice creates a structural bottleneck: alert aggregation binds multiple true and false cases into a shared decision unit, such that removing a false positive inevitably eliminates true positives aggregated within the same alert group. This creates a trade-off bottleneck between the False-positive Reduction Rate (FRR) and the True-positive Rate (TPR). We formalize this bottleneck by showing that the alert-level false-positive set is a subset of the case-level false-positive set, and introduce a Case-Level, per-case verification strategy that shifts the decision granularity from the alert level to the instance level, independently replaying HTTP requests and making an independent determination for each detected case. Evaluation on the dual testbeds of Damn Vulnerable Web Application (DVWA) and WebGoat shows that the empirically best Alert-Level operating point achieves FRR=42.86% (TPR=51.7%). The Case-Level Baseline achieves FRR=47.6%, an improvement of 4.7 percentage points (+4.7 pp), while the Case-Focused Evidence Verification Prompt (CEV-Prompt) increases TPR from 55.2% to 62.1% at the same FRR.
- Abstract（参考訳）: 動的アプリケーションセキュリティテスト(DAST)スキャナーは高いリコールを達成するが、多数の偽陽性を発生させるため、かなりの手作業によるトリアージコストがかかる。
大規模言語モデル(LLM)は、独立検出に使用される場合、非常に高いリコール(95.4%-100%)を達成するが、スキャナーのスタンドアロン代替品としての使用を前に、明らかに高い偽陽性率(49.6%-85.0%)を示す。
天然溶液は2段階のカスケードであり、スキャナー検出とLLM検証が続く。
警告アグリゲーションは、複数の真と偽のケースを共有決定単位に結合し、偽陽性を取り除くことは、同じ警告グループ内で集約された真正を必然的に排除する。
これにより、FRR(False- positive Reduction Rate)とTPR(True- positive Rate)のトレードオフボトルネックが生じる。
我々は、このボトルネックを、警告レベル偽陽性セットがケースレベル偽陽性セットのサブセットであることを示し、ケースレベル毎の検証戦略を導入し、決定の粒度を警告レベルからインスタンスレベルにシフトさせ、HTTPリクエストを独立に再生し、検出されたケース毎に独立に判定する。
Damn Vulnerable Web Application (DVWA) と WebGoat の2つのテストベッドの評価は、経験的に最良のAlert-Level 動作ポイントが FRR=42.86% (TPR=51.7%) に達することを示している。
ケースレベルベースラインはFRR=47.6%、改善率は4.7ポイント(+4.7pp)、CEV-Prompt(Case-Focused Evidence Verification Prompt)は55.2%から62.1%に増加した。
関連論文リスト
- From Probe Scores to Alarm Policies: Operational Validity of Activation Monitors for Language-Model Agents [0.0]
アクティベーションプローブは、受信動作特性曲線(AUROC)の下で高い領域を持つ言語モデルの安全性関連特性を予測することができる
配備されたエージェントモニターは、厳格な偽アラーム予算の下で閾値付きアラーム決定を行う。
我々は,モニタの目標,可観測性,アイデンティティ,タイミング,介入ユニット,コンパレータ,キャリブレーション,コストを修正する操作検証契約を導入する。
論文 参考訳（メタデータ） (2026-10-03T15:11:21Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳（メタデータ） (2026-09-27T14:14:10Z) - Combating Instruction Conflict via Energy-Driven Latent Conflict Detection [6.701569487024643]
大規模言語モデル(LLM)は階層的な命令でデプロイされることが多いが、ユーザディレクティブがシステムレベルの制約をオーバーライドする競合に対して脆弱なままである。
本稿では, 応答レベル遅延競合検出器ELCDについて述べる。
論文 参考訳（メタデータ） (2026-09-08T12:14:43Z) - From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs [46.76277198630859]
大規模な音声言語モデル (LALM) は多様な音声入力を理解する強力な能力を示している。
この多様性には、人間には聞こえない低周波信号が含まれているが、それでもモデルに入り、その生成に影響を与えることができる。
ブラックボックス設定における普遍的な波形テンプレートを用いて,このリスクを評価可能な赤信号抽出手法である Intermittent Low-Frequency Lockout (ILL) を提案する。
論文 参考訳（メタデータ） (2026-08-10T06:09:50Z) - Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文 参考訳（メタデータ） (2026-03-19T10:40:27Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。
デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
論文 参考訳（メタデータ） (2025-09-29T05:17:10Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - Towards a Trustworthy Anomaly Detection for Critical Applications through Approximated Partial AUC Loss [2.09942566943801]
2値分類器は、偽陽性率(FPR)を最小化しつつ、真陽性率(TPR)が100%に達するのを防ぐAUC ROC曲線の特定の範囲を最適化するために訓練される。
その結果、TPRは6つのデータセットで平均20.43%のFPRで92.52%向上し、他の最先端の方法と比較して12.2%のFPRコストで4.3%改善した。
論文 参考訳（メタデータ） (2025-02-17T08:59:59Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。