論文の概要: Uncovering Reliable Indicators: Improving IoC Extraction from Threat Reports
- arxiv url: http://arxiv.org/abs/2506.11325v1
- Date: Thu, 12 Jun 2025 21:47:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-16 17:50:49.590603
- Title: Uncovering Reliable Indicators: Improving IoC Extraction from Threat Reports
- Title(参考訳): 信頼性のある指標の発見:脅威レポートからのIoC抽出の改善
- Authors: Evangelos Froudakis, Athanasios Avgetidis, Sean Tyler Frankum, Roberto Perdisci, Manos Antonakakis, Angelos Keromytis,
- Abstract要約: 我々は,IoC抽出のためのHuman-in-the-loopパイプラインを初めて導入する。
我々のシステムは、説明可能な文脈対応ラベル付けにより精度を向上する。
PRISMは、現実世界の50件の脅威レポートから1,791件のIoCをラベル付けした、高品質で公開可能なベンチマークです。
- 参考スコア(独自算出の注目度): 4.745268750215421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Indicators of Compromise (IoCs) are critical for threat detection and response, marking malicious activity across networks and systems. Yet, the effectiveness of automated IoC extraction systems is fundamentally limited by one key issue: the lack of high-quality ground truth. Current extraction tools rely either on manually extracted ground truth, which is labor-intensive and costly, or on automated ground truth creation methods that include non-malicious artifacts, leading to inflated false positive (FP) rates and unreliable threat intelligence. In this work, we analyze the shortcomings of existing ground truth creation strategies and address them by introducing the first hybrid human-in-the-loop pipeline for IoC extraction, which combines a large language model-based classifier (LANCE) with expert analyst validation. Our system improves precision through explainable, context-aware labeling and reduces analysts' work factor by 43% compared to manual annotation, as demonstrated in our evaluation with six analysts. Using this approach, we produce PRISM, a high-quality, publicly available benchmark of 1,791 labeled IoCs from 50 real-world threat reports. PRISM supports both fair evaluation and training of IoC extraction methods and enables reproducible research grounded in expert-validated indicators.
- Abstract(参考訳): Compromise(IoCs)の指標は、脅威の検出と応答に重要であり、ネットワークやシステム間で悪意ある活動を示す。
しかし、自動化されたIoC抽出システムの有効性は、1つの重要な問題、すなわち高品質な基底真理の欠如によって根本的に制限されている。
現在の抽出ツールは、労働集約的でコストがかかる手作業で抽出された真実や、非有害なアーティファクトを含む自動化された真実生成手法に頼っているため、偽陽性(FP)レートが膨らみ、信頼できない脅威知性をもたらす。
本研究では,既存の真理生成戦略の欠点を分析し,IoC抽出のための最初のハイブリッドなHuman-in-the-loopパイプラインを導入し,大規模言語モデルベース分類器(LANCE)と専門家アナリストによる検証を行った。
6人のアナリストによる評価で示されたように,本システムは説明可能な文脈対応ラベル付けにより精度を向上し,手作業によるアノテーションと比較して,アナリストの作業係数を43%削減する。
このアプローチを用いて、50の現実世界の脅威レポートから1,791個のIoCをラベル付けした高品質で公開可能なベンチマークであるPRISMを作成した。
PRISMは、IoC抽出法の公正な評価とトレーニングの両方をサポートし、専門家評価指標に基づく再現可能な研究を可能にする。
関連論文リスト
- Expert-in-the-Loop Systems with Cross-Domain and In-Domain Few-Shot Learning for Software Vulnerability Detection [38.083049237330826]
本研究では,CWE(Common Weaknessions)を用いたPythonコードの識別をシミュレーションすることにより,ソフトウェア脆弱性評価におけるLLM(Large Language Models)の利用について検討する。
その結果,ゼロショットプロンプトは性能が低いが,少数ショットプロンプトは分類性能を著しく向上させることがわかった。
モデル信頼性、解釈可能性、敵の堅牢性といった課題は、将来の研究にとって重要な領域のままである。
論文 参考訳(メタデータ) (2025-06-11T18:43:51Z) - MOS: Towards Effective Smart Contract Vulnerability Detection through Mixture-of-Experts Tuning of Large Language Models [16.16186929130931]
スマートコントラクトの脆弱性は、ブロックチェーンシステムに重大なセキュリティリスクをもたらす。
本稿では,大規模言語モデルのミックス・オブ・エキスパート・チューニング(MOE-Tuning)に基づくスマートコントラクト脆弱性検出フレームワークを提案する。
実験の結果、MOSはF1のスコアが6.32%、精度が4.80%の平均的な改善で既存の手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2025-04-16T16:33:53Z) - KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。
動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。
5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
論文 参考訳(メタデータ) (2024-02-23T01:30:39Z) - TSTEM: A Cognitive Platform for Collecting Cyber Threat Intelligence in the Wild [0.06597195879147556]
オープンソースからサイバー脅威情報(CTI)を抽出することは、急速に拡大する防衛戦略である。
従来の研究では、抽出プロセスの個々のコンポーネントの改善に焦点が当てられていた。
コミュニティには、ストリーミングCTIデータパイプラインを野放しに展開するオープンソースプラットフォームがない。
論文 参考訳(メタデータ) (2024-02-15T14:29:21Z) - DefectHunter: A Novel LLM-Driven Boosted-Conformer-based Code Vulnerability Detection Mechanism [3.9377491512285157]
DefectHunterは、Conformerメカニズムを利用した脆弱性識別のための革新的なモデルである。
このメカニズムは、畳み込みネットワークと自己意識を融合させ、局所的、位置的特徴とグローバル的、コンテンツに基づく相互作用の両方をキャプチャする。
論文 参考訳(メタデータ) (2023-09-27T00:10:29Z) - A Machine Learning based Empirical Evaluation of Cyber Threat Actors
High Level Attack Patterns over Low level Attack Patterns in Attributing
Attacks [0.0]
正確かつタイムリーな脅威帰属は、適切な、タイムリーな防御機構を適用することによって、将来の攻撃を阻止する上で重要な役割を果たす。
ハニーポット配置、侵入検知システム、ファイアウォール、トレースバック手順によって収集された攻撃パターンを手動で分析することは、サイバー脅威の帰属にセキュリティアナリストが好む方法である。
これらの攻撃パターンは、妥協の低レベル指標である。
我々は,高レベルIOCとの比較分析のために構築された実世界のデータセットに基づいて,低レベルIOCの有効性を実証的に評価した。
論文 参考訳(メタデータ) (2023-07-17T08:58:39Z) - Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。
提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
論文 参考訳(メタデータ) (2023-01-17T01:46:45Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳(メタデータ) (2021-06-22T16:53:09Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳(メタデータ) (2020-12-02T15:30:21Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。