論文の概要: How Reliable Are NVD CWE Labels? A Large-Scale Semantic Audit with Seclometry
- arxiv url: http://arxiv.org/abs/2608.21977v1
- Date: Sat, 22 Aug 2026 14:27:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.550071
- Title: How Reliable Are NVD CWE Labels? A Large-Scale Semantic Audit with Seclometry
- Title(参考訳): NVD CWEラベルはどの程度信頼性が高いか?
- Abstract要約: National Vulnerability Database (NVD)のCWEラベルは、脆弱性検索、スキャナ評価、ベンチマーク構築、学習ベースのセキュリティツール、脆弱性優先順位付けの根拠として広く扱われている。
本稿では,NVDにおけるCWEラベリング品質の大規模・コードセマンティックグラウンド計測について述べる。
2017年から2026年にかけて、CWEAgentを15,556のオープンソースCVEに適用すると、NVD CWEラベルの49.70%が、コード基底ラベルと完全に一致していることがわかった。
- 参考スコア(独自算出の注目度): 14.297363838133457
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: CWE labels in the National Vulnerability Database (NVD) are widely treated as ground truth for vulnerability search, scanner evaluation, benchmark construction, learning-based security tools, and vulnerability prioritization. Yet their reliability has not been systematically measured at scale, despite growing concerns about NVD's enrichment backlog and anecdotal reports of inaccurate, ambiguous, or missing labels. This paper presents a large-scale, code-semantics-grounded measurement of CWE labeling quality in NVD. We build CWEAgent, a validated auditing instrument based on seclometry, a structured representation of vulnerability semantics that captures the root cause, trigger condition, violated security property, exploit mechanism, and impact of vulnerable code. On a manually curated benchmark of 100 open-source CVEs, CWEAgent achieves 85% top-1 accuracy and 92% ambiguity-aware accuracy. Applying CWEAgent to 15,556 open-source CVEs disclosed from 2017-2026, we find that only 49.70% of NVD CWE labels exactly match the code-grounded label. Another 31.37% are defensible alternatives under taxonomy ambiguity, while 3.63% are evidence-inconsistent likely errors. Label reliability varies sharply by assigning organization and weakness type, and apparent project- or language-level differences are largely composition effects of those underlying weakness types. Evidence-inconsistent labels have also increased over time. Through manual review of 434 confirmed mislabels, we identify six recurring error patterns, showing that CWE noise is a structural problem in vulnerability metadata rather than isolated annotation mistakes.
- Abstract(参考訳): National Vulnerability Database(NVD)のCWEラベルは、脆弱性検索、スキャナ評価、ベンチマーク構築、学習ベースのセキュリティツール、脆弱性優先順位付けの根拠として広く扱われている。
しかし、NVDのエンリッチメントバックログや、不正確、曖昧、または欠落ラベルの逸話的な報告に対する懸念が高まりつつも、その信頼性は大規模に体系的に評価されていない。
本稿では,NVDにおけるCWEラベリング品質の大規模・コードセマンティックグラウンド計測について述べる。
CWEAgentはセクロメトリに基づく検証済み監査機器で、脆弱性セマンティクスの構造的表現で、根本原因、トリガー条件、セキュリティ特性の侵害、エクスプロイト機構、脆弱性コードの影響を捉えます。
100のオープンソースCVEを手作業でキュレートしたベンチマークでは、CWEAgentは85%のトップ1の精度と92%のあいまいさを認識している。
2017年から2026年にかけて、CWEAgentを15,556のオープンソースCVEに適用すると、NVD CWEラベルの49.70%が、コード基底ラベルと完全に一致していることがわかった。
その他の31.37%は分類の曖昧さの下では防御可能な代替品であり、3.63%は証拠と矛盾しない可能性がある。
ラベルの信頼性は、組織と弱点のタイプを割り当てることによって著しく変化します。
エビデンスと一貫性のないラベルも、時間とともに増加してきた。
確認誤り434件を手作業で検証した結果,CWEノイズは孤立したアノテーションの誤りではなく,脆弱性メタデータの構造上の問題であることがわかった。
関連論文リスト
- Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。
サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。
脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
論文 参考訳(メタデータ) (2026-09-14T17:44:51Z) - Diagnosing Fine-Grained Inconsistency Classification in Financial Disclosure Text [3.2712318205295907]
財務情報開示には、数値的なクレーム、時間的ステートメント、エンティティ参照、ポリシーのコミットメント、そして質的に異なる方法で衝突する可能性のあるリスク記述が含まれる。
我々はこの問題をきめ細かい矛盾として研究する。
微調整された300Mエンコーダの精度は61.9%、ロラ適応型Qwen3.5-9Bモデルでは61.5%、GPT適応型生成モデルでは61.3%である。
論文 参考訳(メタデータ) (2026-07-29T01:03:53Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - VeriCWEty: Embedding enabled Line-Level CWE Detection in Verilog [12.133186244228037]
本稿では,モジュールおよびラインレベルの粒度の両方でバグを検出し,分類する埋め込み型バグ検出フレームワークを提案する。
CWE-1244 や CWE-1245 などの共通 CWE を 89% の精度で検出し,96% の精度でラインレベルのバグを検出する。
論文 参考訳(メタデータ) (2026-04-15T19:25:57Z) - Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study [51.717224133855886]
サードパーティのスキルはLLMエージェントを強力な能力で拡張するが、特権のある環境では機密情報を扱うことが多い。
静的解析,サンドボックステスト,手動検査を用いて17,022のスキル(SkillsMPで170,226からサンプリング)を分析した。
我々は,1,708の課題で520の脆弱なスキルを識別し,10の漏洩パターン(事故4件,反対6件)の分類を導出する。
論文 参考訳(メタデータ) (2026-04-03T14:50:16Z) - Enhancing and Reporting Robustness Boundary of Neural Code Models for Intelligent Code Understanding [21.582594699123277]
我々は,新しいブラックボックス・トレーニングフリーで軽量な敵防衛であるENBECOMEを提案する。
ENBECOMEは推論時にのみ動作し、入力コードスニペットにランダムなセマンティクス保存の摂動を導入する。
その結果,ENBECOMEは高い精度を維持しながら攻撃成功率を大幅に低下させることがわかった。
論文 参考訳(メタデータ) (2026-03-25T09:31:20Z) - What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs [46.325755802511026]
我々は、LLM(Large Language Model)と細調整された小言語モデルに基づく2つのアプローチを統合するデュアルメタルパイプラインであるLMを開発した。
LMは、OOBまたはUAFの脆弱性に対処する最近のLinuxカーネルのパッチ5,140のうち111つを、手作業による検証によって90の正の正が確認された。
論文 参考訳(メタデータ) (2025-09-26T18:06:36Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳(メタデータ) (2025-09-15T02:25:38Z) - Weakly Supervised Vulnerability Localization via Multiple Instance Learning [46.980136742826836]
WeAkly によるマルチプルインスタンス学習による脆弱性ローカライゼーションのための WAVES という新しい手法を提案する。
WAVESは、ある関数が脆弱かどうか(すなわち脆弱性検出)を判定し、脆弱なステートメントをピンポイントする機能を持っている。
提案手法は,文レベルの脆弱性ローカライゼーションにおいて,脆弱性検出と最先端のパフォーマンスにおいて同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-09-14T15:11:39Z) - SliceLocator: Locating Vulnerable Statements with Graph-based Detectors [33.395068754566935]
SliceLocatorは、すべての潜在的な脆弱性トリガリングステートメントから、最も重み付けされたフローパスを選択することで、最も関連性の高いテントフローを特定する。
SliceLocatorは、最先端の4つのGNNベースの脆弱性検知器で一貫して動作することを示す。
論文 参考訳(メタデータ) (2024-01-05T10:15:04Z) - VFFINDER: A Graph-based Approach for Automated Silent Vulnerability-Fix
Identification [4.837912059099674]
VFFINDERは、サイレント脆弱性の自動検出のためのグラフベースのアプローチである。
これは、アテンションベースのグラフニューラルネットワークモデルを使用して、脆弱性修正コミットと非修正コミットを区別する。
以上の結果から,VFFINDERの精度は39~83%,リコール率19~148%,F1では30~109%向上した。
論文 参考訳(メタデータ) (2023-09-05T05:55:18Z) - Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。
ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。
しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
論文 参考訳(メタデータ) (2022-02-12T04:16:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。