論文の概要: TSTEM: A Cognitive Platform for Collecting Cyber Threat Intelligence in the Wild
- arxiv url: http://arxiv.org/abs/2402.09973v1
- Date: Thu, 15 Feb 2024 14:29:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 11:19:24.035650
- Title: TSTEM: A Cognitive Platform for Collecting Cyber Threat Intelligence in the Wild
- Title(参考訳): TSTEM: 野生におけるサイバー脅威情報収集のための認知プラットフォーム
- Authors: Prasasthy Balasubramanian, Sadaf Nazari, Danial Khosh Kholgh, Alireza Mahmoodi, Justin Seby, Panos Kostakos,
- Abstract要約: オープンソースからサイバー脅威情報(CTI)を抽出することは、急速に拡大する防衛戦略である。
従来の研究では、抽出プロセスの個々のコンポーネントの改善に焦点が当てられていた。
コミュニティには、ストリーミングCTIデータパイプラインを野放しに展開するオープンソースプラットフォームがない。
- 参考スコア(独自算出の注目度): 0.06597195879147556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The extraction of cyber threat intelligence (CTI) from open sources is a rapidly expanding defensive strategy that enhances the resilience of both Information Technology (IT) and Operational Technology (OT) environments against large-scale cyber-attacks. While previous research has focused on improving individual components of the extraction process, the community lacks open-source platforms for deploying streaming CTI data pipelines in the wild. To address this gap, the study describes the implementation of an efficient and well-performing platform capable of processing compute-intensive data pipelines based on the cloud computing paradigm for real-time detection, collecting, and sharing CTI from different online sources. We developed a prototype platform (TSTEM), a containerized microservice architecture that uses Tweepy, Scrapy, Terraform, ELK, Kafka, and MLOps to autonomously search, extract, and index IOCs in the wild. Moreover, the provisioning, monitoring, and management of the TSTEM platform are achieved through infrastructure as a code (IaC). Custom focus crawlers collect web content, which is then processed by a first-level classifier to identify potential indicators of compromise (IOCs). If deemed relevant, the content advances to a second level of extraction for further examination. Throughout this process, state-of-the-art NLP models are utilized for classification and entity extraction, enhancing the overall IOC extraction methodology. Our experimental results indicate that these models exhibit high accuracy (exceeding 98%) in the classification and extraction tasks, achieving this performance within a time frame of less than a minute. The effectiveness of our system can be attributed to a finely-tuned IOC extraction method that operates at multiple stages, ensuring precise identification of relevant information with low false positives.
- Abstract(参考訳): オープンソースからサイバー脅威インテリジェンス(CTI)を抽出することは、大規模サイバー攻撃に対するIT(Information Technology)とOT(Operational Technology)環境のレジリエンスを高める、急速に拡大する防衛戦略である。
以前の調査では、抽出プロセスの個々のコンポーネントの改善に重点を置いていたが、コミュニティには、ストリーミングCTIデータパイプラインを野放しに展開するオープンソースプラットフォームが欠如している。
このギャップに対処するために、クラウドコンピューティングのパラダイムに基づいて計算集約的なデータパイプラインを処理し、異なるオンラインソースからのリアルタイム検出、収集、共有が可能な、効率的で優れたプラットフォームの実装について説明する。
私たちは、Tweepy、Scrapy、Terraform、ELK、Kafka、MLOpsを使用して、野生のIOCを自律的に検索、抽出、インデックスするコンテナ化されたマイクロサービスアーキテクチャである、プロトタイププラットフォーム(TSTEM)を開発しました。
さらに、TSTEMプラットフォームのプロビジョニング、監視、管理は、インフラストラクチャ・アズ・コード(IaC)を通じて行われる。
カスタムフォーカスクローラはWebコンテンツを収集し、第1レベルの分類器によって処理され、妥協の潜在的な指標(IOC)を特定する。
関連性があると判断された場合、コンテンツはさらなる検査のために第2レベルの抽出に進む。
このプロセスを通じて、最先端のNLPモデルは分類と実体抽出に利用され、IOC全体の抽出手法が強化される。
実験の結果,これらのモデルでは分類および抽出作業において高い精度(98%)を示し,その性能は1分以内の時間枠で達成できた。
本システムの有効性は,複数の段階で動作し,偽陽性率の低い関連情報の正確な識別を確実にする,微調整のIOC抽出法によるものである。
関連論文リスト
- CTINEXUS: Leveraging Optimized LLM In-Context Learning for Constructing Cybersecurity Knowledge Graphs Under Data Scarcity [49.657358248788945]
サイバー脅威インテリジェンス(CTI)レポートのテキスト記述は、サイバー脅威に関する豊富な知識源である。
現在のCTI抽出法は柔軟性と一般化性に欠けており、しばしば不正確で不完全な知識抽出をもたらす。
CTINexusは,大規模言語モデルのテキスト内学習(ICL)を最適化した新しいフレームワークである。
論文 参考訳(メタデータ) (2024-10-28T14:18:32Z) - Enhanced Anomaly Detection in Industrial Control Systems aided by Machine Learning [2.2457306746668766]
本研究は,ICS環境におけるネットワークデータとプロセスデータの組み合わせによる攻撃検出の改善について検討する。
この結果から,ネットワークトラフィックと運用プロセスデータの統合により,検出能力が向上することが示唆された。
結果は有望だが、彼らは予備的であり、さらなる研究の必要性を強調している。
論文 参考訳(メタデータ) (2024-10-25T17:41:33Z) - CTISum: A New Benchmark Dataset For Cyber Threat Intelligence Summarization [14.287652216484863]
CTI要約タスクのための新しいベンチマークであるCTISumを提案する。
攻撃プロセスの重要性を考慮すると,攻撃プロセスの要約の詳細なサブタスクが提案されている。
論文 参考訳(メタデータ) (2024-08-13T02:25:16Z) - Actionable Cyber Threat Intelligence using Knowledge Graphs and Large Language Models [0.8192907805418583]
Microsoft、Trend Micro、CrowdStrikeはCTI抽出を容易にするために生成AIを使用している。
本稿では,Large Language Models(LLMs)とKGs(KGs)の進歩を利用して,実行可能なCTIの抽出を自動化するという課題に対処する。
本手法は,情報抽出と構造化を最適化するために,プロンプトエンジニアリング,ガイダンスフレームワーク,微調整などの手法を評価する。
実験により,本手法が関連する情報抽出に有効であることを示すとともに,指導と微調整により,迅速な工学よりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-06-30T13:02:03Z) - Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。
FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。
実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文 参考訳(メタデータ) (2024-01-22T14:16:37Z) - Time for aCTIon: Automated Analysis of Cyber Threat Intelligence in the
Wild [2.4669630540735215]
サイバー脅威インテリジェンス(CTI)は、リスクの評価と組織のセキュリティ向上に重要な役割を果たしている。
既存の構造化CTI抽出ツールには性能制限がある。
我々はこれらのギャップを埋め、新しい大きなオープンベンチマークデータセットと構造化されたCTI情報抽出ツールであるaCTIonを提供する。
論文 参考訳(メタデータ) (2023-07-14T13:43:16Z) - Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。
このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
論文 参考訳(メタデータ) (2022-02-17T02:01:37Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳(メタデータ) (2021-03-22T20:36:34Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳(メタデータ) (2021-02-25T14:24:49Z) - Towards AIOps in Edge Computing Environments [60.27785717687999]
本稿では,異種分散環境に適用可能なaiopsプラットフォームのシステム設計について述べる。
高頻度でメトリクスを収集し、エッジデバイス上で特定の異常検出アルゴリズムを直接実行することが可能である。
論文 参考訳(メタデータ) (2021-02-12T09:33:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。