論文の概要: LRCTI: A Large Language Model-Based Framework for Multi-Step Evidence Retrieval and Reasoning in Cyber Threat Intelligence Credibility Verification
- arxiv url: http://arxiv.org/abs/2507.11310v1
- Date: Tue, 15 Jul 2025 13:42:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 19:46:03.127003
- Title: LRCTI: A Large Language Model-Based Framework for Multi-Step Evidence Retrieval and Reasoning in Cyber Threat Intelligence Credibility Verification
- Title(参考訳): LRCTI:サイバー脅威情報信頼性検証における多段階証拠検索と推論のための大規模言語モデルベースフレームワーク
- Authors: Fengxiao Tang, Huan Li, Ming Zhao, Zongzong Wu, Shisong Peng, Tao Yin,
- Abstract要約: マルチステップCyber Threat Intelligence 信頼性検証のためのフレームワーク LRCTI を提案する。
このフレームワークはまず、複雑なインテリジェンスレポートを簡潔で行動可能な脅威クレームに抽出するために、テキスト要約モジュールを使用する。
次に、適応的な多段階証拠検索機構を使用して、CTI固有のコーパスからの情報を反復的に識別し、洗練する。
CTI-200 と PolitiFact の2つのベンチマークデータセットによる実験では、RCTI は F1-Macro と F1-Micro のスコアを 5% 以上改善し、それぞれ 90.9% と 93.6% に達した。
- 参考スコア(独自算出の注目度): 7.608817324043705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Verifying the credibility of Cyber Threat Intelligence (CTI) is essential for reliable cybersecurity defense. However, traditional approaches typically treat this task as a static classification problem, relying on handcrafted features or isolated deep learning models. These methods often lack the robustness needed to handle incomplete, heterogeneous, or noisy intelligence, and they provide limited transparency in decision-making-factors that reduce their effectiveness in real-world threat environments. To address these limitations, we propose LRCTI, a Large Language Model (LLM)-based framework designed for multi-step CTI credibility verification. The framework first employs a text summarization module to distill complex intelligence reports into concise and actionable threat claims. It then uses an adaptive multi-step evidence retrieval mechanism that iteratively identifies and refines supporting information from a CTI-specific corpus, guided by LLM feedback. Finally, a prompt-based Natural Language Inference (NLI) module is applied to evaluate the credibility of each claim while generating interpretable justifications for the classification outcome. Experiments conducted on two benchmark datasets, CTI-200 and PolitiFact show that LRCTI improves F1-Macro and F1-Micro scores by over 5%, reaching 90.9% and 93.6%, respectively, compared to state-of-the-art baselines. These results demonstrate that LRCTI effectively addresses the core limitations of prior methods, offering a scalable, accurate, and explainable solution for automated CTI credibility verification
- Abstract(参考訳): サイバー脅威インテリジェンス(CTI)の信頼性を検証することは、信頼できるサイバーセキュリティ防衛に不可欠である。
しかし、従来のアプローチでは、このタスクを手作りの特徴や独立したディープラーニングモデルに依存する静的な分類問題として扱うのが一般的である。
これらの手法は、不完全で異質でノイズの多い知性を扱うために必要な頑丈さを欠くことが多く、現実世界の脅威環境におけるその効果を減らすための意思決定要素に限定的な透明性を提供する。
これらの制約に対処するために,多段階CTI信頼性検証用に設計されたLarge Language Model (LLM) ベースのフレームワーク LRCTI を提案する。
このフレームワークはまず、複雑なインテリジェンスレポートを簡潔で行動可能な脅威クレームに抽出するために、テキスト要約モジュールを使用する。
次に、適応的な多段階のエビデンス検索機構を使用して、LCMフィードバックによって導かれるCTI固有のコーパスからの情報を反復的に識別し、洗練する。
最後に、各クレームの信頼性を評価するために、インプロンプトベースの自然言語推論(NLI)モジュールを適用し、分類結果の解釈可能な正当性を生成する。
CTI-200 と PolitiFact の2つのベンチマークデータセットによる実験の結果、RCTI は最先端のベースラインと比較して F1-Macro と F1-Micro のスコアを 5% 以上改善し、それぞれ 90.9% と 93.6% に達した。
これらの結果は,LCCTIが従来の手法の限界を効果的に解決し,CTIの信頼性自動検証のためのスケーラブルで正確で説明可能なソリューションを提供することを実証している。
関連論文リスト
- Minerva: Reinforcement Learning with Verifiable Rewards for Cyber Threat Intelligence LLMs [2.702990676892003]
大規模言語モデル(LLM)は、ノイズの多い非構造化されたセキュリティアーティファクトを自動化可能な表現に変換することを約束している。
CTI標準とコミュニティが保持するリソースは、モデル出力の決定論的検証を可能にする標準識別子とスキーマを定義する。
そこで本研究では,追加の検証トラジェクトリを生成し,それをモデルに戻す軽量な自己学習機構を提案する。
論文 参考訳(メタデータ) (2026-01-31T05:01:01Z) - VIRO: Robust and Efficient Neuro-Symbolic Reasoning with Verification for Referring Expression Comprehension [51.76841625486355]
Referring Expression (REC) は、自然言語クエリに対応する画像領域をローカライズすることを目的としている。
最近のニューロシンボリックRECアプローチは、大規模言語モデル(LLM)と視覚言語モデル(VLM)を利用して構成推論を行う。
推論ステップ内に軽量な演算子レベルの検証器を組み込む,ニューロシンボリックなフレームワークであるVIROを紹介する。
論文 参考訳(メタデータ) (2026-01-19T07:21:19Z) - From Retrieval to Reasoning: A Framework for Cyber Threat Intelligence NER with Explicit and Adaptive Instructions [15.710492251334792]
TTPromptは暗黙のインジェクションから明示的なインストラクションへとシフトするフレームワークである。
FIRは、最小ラベル付きデータのエラーから学習することで、LLMがガイドラインを自己定義することを可能にする。
トレーニングデータの1%しか改善されていないTTPromptは、データセット全体を微調整したモデルに対抗している。
論文 参考訳(メタデータ) (2025-12-22T14:13:01Z) - CTIArena: Benchmarking LLM Knowledge and Reasoning Across Heterogeneous Cyber Threat Intelligence [48.63397742510097]
サイバー脅威インテリジェンス(CTI)は現代のサイバーセキュリティの中心であり、進化する脅威を検出し緩和するための重要な洞察を提供する。
大規模言語モデル(LLM)の自然言語理解と推論能力により、CTIに適用することへの関心が高まっている。
異種マルチソースCTI上でLLM性能を評価するための最初のベンチマークであるCTIArenaを提案する。
論文 参考訳(メタデータ) (2025-10-13T22:10:17Z) - FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。
我々の枠組みは差別的な決定問題として不誠実検出を定式化している。
FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
論文 参考訳(メタデータ) (2025-10-05T05:16:54Z) - Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。
現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
論文 参考訳(メタデータ) (2025-09-29T02:34:30Z) - Uncovering Vulnerabilities of LLM-Assisted Cyber Threat Intelligence [15.881854286231997]
大規模言語モデル(LLM)は、サイバー脅威の迅速な搾取に対抗するセキュリティアナリストを支援するために、集中的に使用される。
本稿では,サイバー脅威インテリジェンス(CTI)におけるLCMの固有の脆弱性について検討する。
本稿では, 階層化, 自己回帰的洗練, ループ内人間監督を統合した新たな分類手法を提案する。
論文 参考訳(メタデータ) (2025-09-28T02:08:27Z) - Reasoning Models Can be Easily Hacked by Fake Reasoning Bias [59.79548223686273]
我々は、Reasoning Theatre Bias (RTB)を評価するための総合的なベンチマークTheATERを紹介する。
簡単なクイズとフェイク・オブ・サートを含む6種類のバイアスタイプについて検討した。
我々は、RTBの最も強力な形式として、'hallow reasoning'-plausibleだが欠陥のある議論を識別する。
論文 参考訳(メタデータ) (2025-07-18T09:06:10Z) - T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。
提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
論文 参考訳(メタデータ) (2025-05-23T13:44:59Z) - AttackSeqBench: Benchmarking Large Language Models' Understanding of Sequential Patterns in Cyber Attacks [13.082370325093242]
我々は,サイバー脅威インテリジェンス(CTI)レポートにおいて,攻撃シーケンスの理解と推論を行うLarge Language Models(LLM)能力を評価するためのベンチマークであるAttackSeqBenchを紹介する。
本ベンチマークでは,3つの質問応答(QA)タスクを対象とし,各タスクは,相手行動の粒度の違いに焦点をあてる。
サイバー攻撃のシーケンシャルなパターンを分析する上での、その強みと限界を強調しながら、高速思考とスロー思考の両方で広範な実験と分析を行う。
論文 参考訳(メタデータ) (2025-03-05T04:25:21Z) - Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。
本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-04T03:16:02Z) - CTINexus: Automatic Cyber Threat Intelligence Knowledge Graph Construction Using Large Language Models [49.657358248788945]
サイバー脅威インテリジェンス(CTI)レポートのテキスト記述は、サイバー脅威に関する豊富な知識源である。
現在のCTI知識抽出法は柔軟性と一般化性に欠ける。
我々は,データ効率の高いCTI知識抽出と高品質サイバーセキュリティ知識グラフ(CSKG)構築のための新しいフレームワークであるCTINexusを提案する。
論文 参考訳(メタデータ) (2024-10-28T14:18:32Z) - KGV: Integrating Large Language Models with Knowledge Graphs for Cyber Threat Intelligence Credibility Assessment [38.312774244521]
サイバー脅威インテリジェンス(サイバー脅威インテリジェンス、CTI)は、高度で組織化され、兵器化されたサイバー攻撃を防ぐ重要なツールである。
本稿では,大規模言語モデル (LLM) と単純な構造化知識グラフ (KG) を統合し,CTIの信頼性自動評価を行う最初のフレームワークである知識グラフベース検証(KGV)を提案する。
実験の結果,我々のKGVはCTI-200データセット上で最先端の事実推論手法より優れており,F1は5.7%向上していることがわかった。
論文 参考訳(メタデータ) (2024-08-15T11:32:46Z) - CTISum: A New Benchmark Dataset For Cyber Threat Intelligence Summarization [14.287652216484863]
サイバー脅威インテリジェンス(CTI)の要約は、Webインテリジェンスデータから簡潔で正確なハイライトを生成する。
CTI要約タスク用に設計された新しいベンチマークデータセットであるCTISumを紹介する。
また、リスク評価、セキュリティギャップの特定、脆弱性の発見などを目的とした、攻撃プロセスの要約という、新たなきめ細かいサブタスクも提案する。
論文 参考訳(メタデータ) (2024-08-13T02:25:16Z) - Data Poisoning for In-context Learning [49.77204165250528]
In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。
本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。
ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
論文 参考訳(メタデータ) (2024-02-03T14:20:20Z) - Automatic Mapping of Unstructured Cyber Threat Intelligence: An
Experimental Study [1.1470070927586016]
機械学習(ML)を用いた攻撃手法における非構造化サイバー脅威情報(CTI)の自動分類に関する実験的検討を行った。
CTI分析のための2つの新しいデータセットにコントリビュートし、従来の機械学習モデルとディープラーニングモデルの両方を含む、いくつかのMLモデルを評価した。
本稿では,このタスクにおいてMLがどのように機能するか,どの分類器が最善か,どの条件下か,その主な原因である分類誤り,CTI分析の課題について,いくつかの教訓を提示する。
論文 参考訳(メタデータ) (2022-08-25T15:01:42Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。