論文の概要: LRCTI: A Large Language Model-Based Framework for Multi-Step Evidence Retrieval and Reasoning in Cyber Threat Intelligence Credibility Verification
- arxiv url: http://arxiv.org/abs/2507.11310v1
- Date: Tue, 15 Jul 2025 13:42:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 19:46:03.127003
- Title: LRCTI: A Large Language Model-Based Framework for Multi-Step Evidence Retrieval and Reasoning in Cyber Threat Intelligence Credibility Verification
- Title(参考訳): LRCTI:サイバー脅威情報信頼性検証における多段階証拠検索と推論のための大規模言語モデルベースフレームワーク
- Authors: Fengxiao Tang, Huan Li, Ming Zhao, Zongzong Wu, Shisong Peng, Tao Yin,
- Abstract要約: マルチステップCyber Threat Intelligence 信頼性検証のためのフレームワーク LRCTI を提案する。
このフレームワークはまず、複雑なインテリジェンスレポートを簡潔で行動可能な脅威クレームに抽出するために、テキスト要約モジュールを使用する。
次に、適応的な多段階証拠検索機構を使用して、CTI固有のコーパスからの情報を反復的に識別し、洗練する。
CTI-200 と PolitiFact の2つのベンチマークデータセットによる実験では、RCTI は F1-Macro と F1-Micro のスコアを 5% 以上改善し、それぞれ 90.9% と 93.6% に達した。
- 参考スコア(独自算出の注目度): 7.608817324043705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Verifying the credibility of Cyber Threat Intelligence (CTI) is essential for reliable cybersecurity defense. However, traditional approaches typically treat this task as a static classification problem, relying on handcrafted features or isolated deep learning models. These methods often lack the robustness needed to handle incomplete, heterogeneous, or noisy intelligence, and they provide limited transparency in decision-making-factors that reduce their effectiveness in real-world threat environments. To address these limitations, we propose LRCTI, a Large Language Model (LLM)-based framework designed for multi-step CTI credibility verification. The framework first employs a text summarization module to distill complex intelligence reports into concise and actionable threat claims. It then uses an adaptive multi-step evidence retrieval mechanism that iteratively identifies and refines supporting information from a CTI-specific corpus, guided by LLM feedback. Finally, a prompt-based Natural Language Inference (NLI) module is applied to evaluate the credibility of each claim while generating interpretable justifications for the classification outcome. Experiments conducted on two benchmark datasets, CTI-200 and PolitiFact show that LRCTI improves F1-Macro and F1-Micro scores by over 5%, reaching 90.9% and 93.6%, respectively, compared to state-of-the-art baselines. These results demonstrate that LRCTI effectively addresses the core limitations of prior methods, offering a scalable, accurate, and explainable solution for automated CTI credibility verification
- Abstract(参考訳): サイバー脅威インテリジェンス(CTI)の信頼性を検証することは、信頼できるサイバーセキュリティ防衛に不可欠である。
しかし、従来のアプローチでは、このタスクを手作りの特徴や独立したディープラーニングモデルに依存する静的な分類問題として扱うのが一般的である。
これらの手法は、不完全で異質でノイズの多い知性を扱うために必要な頑丈さを欠くことが多く、現実世界の脅威環境におけるその効果を減らすための意思決定要素に限定的な透明性を提供する。
これらの制約に対処するために,多段階CTI信頼性検証用に設計されたLarge Language Model (LLM) ベースのフレームワーク LRCTI を提案する。
このフレームワークはまず、複雑なインテリジェンスレポートを簡潔で行動可能な脅威クレームに抽出するために、テキスト要約モジュールを使用する。
次に、適応的な多段階のエビデンス検索機構を使用して、LCMフィードバックによって導かれるCTI固有のコーパスからの情報を反復的に識別し、洗練する。
最後に、各クレームの信頼性を評価するために、インプロンプトベースの自然言語推論(NLI)モジュールを適用し、分類結果の解釈可能な正当性を生成する。
CTI-200 と PolitiFact の2つのベンチマークデータセットによる実験の結果、RCTI は最先端のベースラインと比較して F1-Macro と F1-Micro のスコアを 5% 以上改善し、それぞれ 90.9% と 93.6% に達した。
これらの結果は,LCCTIが従来の手法の限界を効果的に解決し,CTIの信頼性自動検証のためのスケーラブルで正確で説明可能なソリューションを提供することを実証している。
関連論文リスト
- Reasoning Models Can be Easily Hacked by Fake Reasoning Bias [59.79548223686273]
我々は、Reasoning Theatre Bias (RTB)を評価するための総合的なベンチマークTheATERを紹介する。
簡単なクイズとフェイク・オブ・サートを含む6種類のバイアスタイプについて検討した。
我々は、RTBの最も強力な形式として、'hallow reasoning'-plausibleだが欠陥のある議論を識別する。
論文 参考訳(メタデータ) (2025-07-18T09:06:10Z) - T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。
提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
論文 参考訳(メタデータ) (2025-05-23T13:44:59Z) - AttackSeqBench: Benchmarking Large Language Models' Understanding of Sequential Patterns in Cyber Attacks [13.082370325093242]
我々は,サイバー脅威インテリジェンス(CTI)レポートにおいて,攻撃シーケンスの理解と推論を行うLarge Language Models(LLM)能力を評価するためのベンチマークであるAttackSeqBenchを紹介する。
本ベンチマークでは,3つの質問応答(QA)タスクを対象とし,各タスクは,相手行動の粒度の違いに焦点をあてる。
サイバー攻撃のシーケンシャルなパターンを分析する上での、その強みと限界を強調しながら、高速思考とスロー思考の両方で広範な実験と分析を行う。
論文 参考訳(メタデータ) (2025-03-05T04:25:21Z) - Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。
本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-04T03:16:02Z) - CTINexus: Automatic Cyber Threat Intelligence Knowledge Graph Construction Using Large Language Models [49.657358248788945]
サイバー脅威インテリジェンス(CTI)レポートのテキスト記述は、サイバー脅威に関する豊富な知識源である。
現在のCTI知識抽出法は柔軟性と一般化性に欠ける。
我々は,データ効率の高いCTI知識抽出と高品質サイバーセキュリティ知識グラフ(CSKG)構築のための新しいフレームワークであるCTINexusを提案する。
論文 参考訳(メタデータ) (2024-10-28T14:18:32Z) - KGV: Integrating Large Language Models with Knowledge Graphs for Cyber Threat Intelligence Credibility Assessment [38.312774244521]
サイバー脅威インテリジェンス(サイバー脅威インテリジェンス、CTI)は、高度で組織化され、兵器化されたサイバー攻撃を防ぐ重要なツールである。
本稿では,大規模言語モデル (LLM) と単純な構造化知識グラフ (KG) を統合し,CTIの信頼性自動評価を行う最初のフレームワークである知識グラフベース検証(KGV)を提案する。
実験の結果,我々のKGVはCTI-200データセット上で最先端の事実推論手法より優れており,F1は5.7%向上していることがわかった。
論文 参考訳(メタデータ) (2024-08-15T11:32:46Z) - CTISum: A New Benchmark Dataset For Cyber Threat Intelligence Summarization [14.287652216484863]
サイバー脅威インテリジェンス(CTI)の要約は、Webインテリジェンスデータから簡潔で正確なハイライトを生成する。
CTI要約タスク用に設計された新しいベンチマークデータセットであるCTISumを紹介する。
また、リスク評価、セキュリティギャップの特定、脆弱性の発見などを目的とした、攻撃プロセスの要約という、新たなきめ細かいサブタスクも提案する。
論文 参考訳(メタデータ) (2024-08-13T02:25:16Z) - Data Poisoning for In-context Learning [49.77204165250528]
In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。
本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。
ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
論文 参考訳(メタデータ) (2024-02-03T14:20:20Z) - Automatic Mapping of Unstructured Cyber Threat Intelligence: An
Experimental Study [1.1470070927586016]
機械学習(ML)を用いた攻撃手法における非構造化サイバー脅威情報(CTI)の自動分類に関する実験的検討を行った。
CTI分析のための2つの新しいデータセットにコントリビュートし、従来の機械学習モデルとディープラーニングモデルの両方を含む、いくつかのMLモデルを評価した。
本稿では,このタスクにおいてMLがどのように機能するか,どの分類器が最善か,どの条件下か,その主な原因である分類誤り,CTI分析の課題について,いくつかの教訓を提示する。
論文 参考訳(メタデータ) (2022-08-25T15:01:42Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。