論文の概要: Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion

• arxiv url: http://arxiv.org/abs/2607.25572v1
• Date: Tue, 28 Jul 2026 10:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.81249
• Title: Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion
• Title（参考訳）: CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion (特集:CVEs to MITRE ATT&CK Techniques)
• Abstract要約: 我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。 その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。 次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 46.262619407930266
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present a reproducible pipeline for mapping Common Vulnerabilities and Exposures (CVEs) to MITRE ATT&CK Enterprise techniques from free-text vulnerability descriptions. Rather than relying on the CWE->CAPEC->ATT&CK derivation chain, whose table-expansion artifacts we quantify, we train a multi-label classifier on a curated gold dataset of 1,207 CVEs from expert MITRE Center for Threat-Informed Defense mappings. The resulting model approximately doubles recall@5 compared with a zero-shot embedding-similarity baseline and improves every ranking metric. We then investigate whether LLM-assisted labeling can extend the gold dataset. Initial experiments suggest contradictory conclusions: a single run indicates degraded performance, while averaging over five random seeds suggests a small gain. However, an independent replication and an expansion-size study (100--984 additional CVEs) show that the apparent improvement is an evaluation artifact. LLM-generated labels, with approximately 0.39 agreement with expert annotations, provide no reliable improvement at any expansion size and reduce rare-technique coverage at around 1,000 added CVEs (macro-F1 decreases by 0.04). The root cause is evaluation noise. Selecting checkpoints on a small test split effectively maximizes over many noisy evaluations, producing recall@5 differences of up to 0.05 between otherwise identical runs. Using a corrected protocol based on validation-split checkpoint selection, the gold-only model achieves recall@5 of (0.673 \pm 0.019), and repeating the decisive experiment confirms the null result for LLM expansion. A final scaling study shows that additional expert-curated data consistently improves performance, whereas LLM-labeled data does not, indicating that the classifier is limited by label quality rather than dataset size. All datasets, models, code, and training logs are publicly released.
• Abstract（参考訳）: 我々は,MITRE ATT&CK Enterprise の手法を,自由テキストによる脆弱性記述からマッピングするための再現可能なパイプラインを提案する。 我々は、CWE->CAPEC->ATT&CK誘導体連鎖に頼らず、テーブル膨張アーティファクトを定量化する代わりに、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器を訓練する。 結果として得られるモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、リコール@5を約2倍にし、すべてのランキングメトリックを改善します。 次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。 最初の実験では矛盾する結論が示され、1回のランは劣化した性能を示し、5つのランダムな種の平均は小さなゲインを示している。 しかし、独立レプリケーションと拡張サイズ研究(100-984の追加CVE)により、明らかな改善が評価成果であることが示された。 LLMが生成したラベルは、専門家のアノテーションと約0.39の合意で、いかなる拡張サイズでも信頼性が向上せず、1000基のCVE(macro-F1は0.04に減少する)でレアテクニックのカバレッジを減少させる。 根本原因は評価ノイズである。 小さなテスト分割でチェックポイントを選択することは、多くのノイズ評価を効果的に最大化する。 検証分割チェックポイント選択に基づく修正プロトコルを用いて、金のみのモデルはリコール@5(0.673 \pm 0.019)を達成し、決定的な実験を繰り返して、LSM拡張のヌル結果を確認する。 最終的なスケールスタディでは、追加のエキスパートキュレートされたデータによりパフォーマンスが一貫して向上するのに対して、LCMラベル付きデータではパフォーマンスが向上せず、データセットサイズよりもラベル品質によって分類器が制限されていることが示されている。 すべてのデータセット、モデル、コード、トレーニングログが公開されている。

関連論文リスト

• Provenance, Not Behaviour: A Serialisation Artifact in Edge-IIoTset and a Leakage-Free Benchmark for Precision-Agriculture Intrusion Detection [0.0]
  Edge-IIoTsetは、IoTにおける機械学習侵入検出のベンチマークである。 そのパフォーマンスの多くは侵入検出ではないことが示されています。 AgriEdge:1,276,122行、完全な属性を持つ5つのデバイス、0.0288以上のクラスを分離する列がない。
  論文  参考訳（メタデータ） (2026-08-16T14:30:45Z)
• Quality-Diversity Stress Tests for Process Reward Models:What Archive Coverage Can and Cannot Certify [1.0742675209112622]
  MAP-Elites を用いた品質多様性探索問題として PRM ストレス試験を定式化する。 有限セル修復は、カバーセルのテールリスクと平均残酷さを境界とするが、カバーレートだけでは最悪の残酷なセルをバウンドすることはできない。 事前宣言されたペアのLoRA修復プロトコルは、攻撃率が0.148から0.037から0.074に減少し、最悪の攻撃は0.333から0.177から0.212に減少し、最高の4つの精度を低下させることなくAUROCのランキングを改善する。
  論文  参考訳（メタデータ） (2026-08-08T08:41:06Z)
• Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation [2.733105115068754]
  反復モデルの再トレーニングなしにShapley値を近似する,スケーラブルで推論のみのデータアベイラビリティパイプラインを導入する。 重厚な2つのアライメントデータセットの衛生化におけるパイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2026-07-24T03:31:44Z)
• CLAP: Closed-Loop Training, Evaluation, and Release Control for Domain Agent Post-training [14.51193578486111]
  CLAPはビジネスデータを構造化されたSFTサンプル、意思決定基準サンプル、ホールドアウトセット、リスク診断、リリースゲートレコードに変換する。 匿名化された5つの製造・scenarioバッチでは、QLoRAスタイルのLoRA-SFTが平均利得を抑える。
  論文  参考訳（メタデータ） (2026-07-02T08:07:56Z)
• Metric-Dependent Annotation Saturation for Learning from Label Distributions [0.0]
  我々は,ChaosNLIをサブサンプルとしたラベル分布のNLIモデルを微調整する。 3クラス NLI では、エントロピー相関は N 20-50 のアノテータを収束させる必要がある。 ソフトラベルは、ラベルの平滑化が再現できないアイテム固有の信号を運ぶ。
  論文  参考訳（メタデータ） (2026-05-28T11:46:51Z)
• Beyond the Fold: Quantifying Split-Level Noise and the Case for Leave-One-Dataset-Out AU Evaluation [1.7159330469510958]
  クロスバリデーション自体が測定可能な分散をもたらすことを示す。 BP4D+では、3倍の主成分排他的分割を繰り返して、平均F1で平均0.065ドルという経験的なノイズフロアを生成する。 さらに、5つのAUデータセットにわたるLeave-One-Dataset-Outプロトコルを用いて、データセット間のロバスト性を評価する。
  論文  参考訳（メタデータ） (2026-04-02T15:28:55Z)
• Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
  法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。 多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。 決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
  論文  参考訳（メタデータ） (2026-03-08T00:31:34Z)
• MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark [57.999567012489706]
  我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。 このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
  論文  参考訳（メタデータ） (2024-12-19T18:58:04Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers [71.08167292329028]
  我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。 OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。 3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-28T23:57:15Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。