論文の概要: AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation
- arxiv url: http://arxiv.org/abs/2608.25667v1
- Date: Wed, 26 Aug 2026 11:48:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.810225
- Title: AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation
- Title（参考訳）: 脆弱性評価におけるAIの傾きと幻覚: 失敗の推論と信頼できる軽減に関する調査
- Abstract要約: AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。
本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
- 参考スコア（独自算出の注目度）: 48.55515767840701
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of Large Language Models (LLMs) into cybersecurity has transformed vulnerability assessment, but it has also produced a trustworthiness crisis driven by the unchecked proliferation of "AI slop." These artifacts, hallucinated vulnerabilities, plausible but incorrect patches, and semantically repackaged bug reports, impose a cognitive burden on human triage pipelines that mirrors a denial-of-service attack. This paper surveys the empirical evidence, identifies a unifying mechanism, and traces a path toward trustworthy triage. We formalize a taxonomy of AI slop grounded in a structured literature review and dissect its root cause: the gap between the causal deductive reasoning of security experts and the autoregressive probabilistic generation of current LLMs. We operationalize this gap through a measurable proxy, the Deductive Coverage Score, and show that chain-of-thought prompting and tool-using agents narrow but do not close it. We review mitigation strategies and argue that passive detection and watermarking target provenance rather than correctness, facing fundamental entropy constraints. We instead advocate for active neuro-symbolic verification, mapping each pipeline component to prior systems with documented limits on security inputs. Finally, we specify two evaluation instruments, CVE-Bench and Slop-Score, including dataset construction, metric formulas, and anti-gaming provisions. By shifting evaluation from linguistic fluency to mathematical verifiability, this survey provides a roadmap for securing emerging AI-driven triage systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)のサイバーセキュリティへの統合は、脆弱性評価を変革させたが、"AIスロープ"の未確認の拡散によって引き起こされた信頼性の危機も引き起こした。
これらのアーティファクト、幻覚的脆弱性、妥当だが不正確なパッチ、セマンティックに再パッケージされたバグレポートは、サービス拒否攻撃を反映した人間のトリアージパイプラインに認知的負担を課します。
本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
我々は、構造化された文献レビューに根ざしたAIの分類を定式化し、その根本原因を解明する: セキュリティ専門家の因果推論と、現在のLCMの自己回帰的確率的生成とのギャップ。
測定可能なプロキシであるDeductive Coverage Scoreを通じてこのギャップを運用し、チェーンオブ思考のプロンプトとツール使用エージェントが狭いが、閉じていないことを示す。
我々は、緩和戦略を見直し、受動的検出と透かしは、基本的なエントロピー制約に直面している、正確性よりもむしろ先入観を目標とする、と論じる。
代わりに我々は、各パイプラインコンポーネントをセキュリティ入力の文書化された制限付き以前のシステムにマッピングする、アクティブなニューロシンボリック検証を提唱する。
最後に,CVE-Bench と Slop-Score の2つの評価機器を規定する。
言語流布から数学的検証可能性へ評価をシフトすることで、この調査は、AI駆動トリアージシステムを確保するためのロードマップを提供する。
関連論文リスト
- Crushing the Evidence: A Dual-Penalty Evasion Framework for Fooling White-Box Explainable AI Auditors [4.377640147713394]
ポストホックモデルの説明器は、高感度ドメインのモデルを監査するために広くデプロイされている。
説明可能性パイプラインにおける潜在的な攻撃について、いくつかの研究がなされている。
より強力なホワイトボックス、勾配調整型回避攻撃フレームワークを導入する。
論文 参考訳（メタデータ） (2026-08-01T10:03:14Z) - Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳（メタデータ） (2026-05-28T02:12:41Z) - Evaluating Explainability in Safety-Critical ATR Systems: Limitations of Post-Hoc Methods and Paths Toward Robust XAI [2.3099144596725574]
本稿では,安全クリティカルなATRシステムにおける説明可能性手法の構造化評価について述べる。
我々は、サリエンシベース、注意ベース、サロゲート・アプ・パッチを含む主要なXAIパラダイムを特定した。
我々は、急激な説明、摂動下での不安定性、視覚的に干渉する出力によって引き起こされる過度な信頼など、致命的な障害モードを導出する。
論文 参考訳（メタデータ） (2026-05-07T06:42:08Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Towards Secure Retrieval-Augmented Generation: A Comprehensive Review of Threats, Defenses and Benchmarks [21.880338678029503]
Retrieval-Augmented Generation (RAG)は、大規模言語モデルにおける幻覚とドメイン知識の欠如を、外部知識ベースを組み込むことによって著しく軽減する。
本稿では、その基盤となる脆弱性メカニズムを分析し、データ中毒、敵攻撃、メンバシップ推論攻撃などのコア脅威ベクトルを体系的に分類する。
潜在的なリスクについて深い洞察を得ることにより、この研究は、高度に堅牢で信頼性の高い次世代RAGシステムの開発を促進することを目指している。
論文 参考訳（メタデータ） (2026-03-23T07:32:59Z) - The Landscape of Prompt Injection Threats in LLM Agents: From Taxonomy to Analysis [24.51410516475904]
The Prompt Injection (PI) landscape, including attack, Defenses, and their evaluation practices。
我々は,コンテキストに依存したインタラクション設定下でエージェントの振る舞いを体系的に評価する新しいベンチマークであるAgentPIを紹介する。
我々は,文脈依存推論が不可欠である現実的なエージェント設定に一般化することができないが,文脈依存的入力を抑えることで,既存のベンチマークにおいて多くの防御が有効であることを示す。
論文 参考訳（メタデータ） (2026-02-11T02:47:10Z) - Empirical Analysis of Adversarial Robustness and Explainability Drift in Cybersecurity Classifiers [0.0]
本稿では,2つのサイバーセキュリティ領域にまたがる敵対的堅牢性と説明可能性に関する実証的研究について述べる。
精度摂動曲線の領域として定義される量的指標であるロバストネス指数(RI)を導入する。
Phishing WebサイトとNB15データセットの実験では、一貫性のある堅牢性傾向が示されている。
論文 参考訳（メタデータ） (2026-02-06T05:30:37Z) - From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models [77.04403907729738]
このサーベイは、受動的診断基準からリアルタイムモデル動作を導くアクティブ制御信号への不確実性の進化をグラフ化する。
3つのフロンティアにまたがるアクティブ制御信号として不確実性がいかに活用されているかを示す。
この調査は、次世代のスケーラブルで信頼性があり、信頼できるAIを構築するためには、新しい不確実性のトレンドを習得することが不可欠である、と論じている。
論文 参考訳（メタデータ） (2026-01-22T06:21:31Z) - Deep Learning Models for Robust Facial Liveness Detection [56.08694048252482]
本研究では,現代のアンチスプーフィング手法の欠陥に対処する新しい深層学習モデルを用いて,ロバストな解を提案する。
テクスチャ解析と実際の人間の特性に関連する反射特性を革新的に統合することにより、我々のモデルは、顕著な精度でレプリカと真の存在を区別する。
論文 参考訳（メタデータ） (2025-08-12T17:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。