論文の概要: TSTEM: A Cognitive Platform for Collecting Cyber Threat Intelligence in the Wild
- arxiv url: http://arxiv.org/abs/2402.09973v1
- Date: Thu, 15 Feb 2024 14:29:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 11:19:24.035650
- Title: TSTEM: A Cognitive Platform for Collecting Cyber Threat Intelligence in the Wild
- Title(参考訳): TSTEM: 野生におけるサイバー脅威情報収集のための認知プラットフォーム
- Authors: Prasasthy Balasubramanian, Sadaf Nazari, Danial Khosh Kholgh, Alireza Mahmoodi, Justin Seby, Panos Kostakos,
- Abstract要約: オープンソースからサイバー脅威情報(CTI)を抽出することは、急速に拡大する防衛戦略である。
従来の研究では、抽出プロセスの個々のコンポーネントの改善に焦点が当てられていた。
コミュニティには、ストリーミングCTIデータパイプラインを野放しに展開するオープンソースプラットフォームがない。
- 参考スコア(独自算出の注目度): 0.06597195879147556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The extraction of cyber threat intelligence (CTI) from open sources is a rapidly expanding defensive strategy that enhances the resilience of both Information Technology (IT) and Operational Technology (OT) environments against large-scale cyber-attacks. While previous research has focused on improving individual components of the extraction process, the community lacks open-source platforms for deploying streaming CTI data pipelines in the wild. To address this gap, the study describes the implementation of an efficient and well-performing platform capable of processing compute-intensive data pipelines based on the cloud computing paradigm for real-time detection, collecting, and sharing CTI from different online sources. We developed a prototype platform (TSTEM), a containerized microservice architecture that uses Tweepy, Scrapy, Terraform, ELK, Kafka, and MLOps to autonomously search, extract, and index IOCs in the wild. Moreover, the provisioning, monitoring, and management of the TSTEM platform are achieved through infrastructure as a code (IaC). Custom focus crawlers collect web content, which is then processed by a first-level classifier to identify potential indicators of compromise (IOCs). If deemed relevant, the content advances to a second level of extraction for further examination. Throughout this process, state-of-the-art NLP models are utilized for classification and entity extraction, enhancing the overall IOC extraction methodology. Our experimental results indicate that these models exhibit high accuracy (exceeding 98%) in the classification and extraction tasks, achieving this performance within a time frame of less than a minute. The effectiveness of our system can be attributed to a finely-tuned IOC extraction method that operates at multiple stages, ensuring precise identification of relevant information with low false positives.
- Abstract(参考訳): オープンソースからサイバー脅威インテリジェンス(CTI)を抽出することは、大規模サイバー攻撃に対するIT(Information Technology)とOT(Operational Technology)環境のレジリエンスを高める、急速に拡大する防衛戦略である。
以前の調査では、抽出プロセスの個々のコンポーネントの改善に重点を置いていたが、コミュニティには、ストリーミングCTIデータパイプラインを野放しに展開するオープンソースプラットフォームが欠如している。
このギャップに対処するために、クラウドコンピューティングのパラダイムに基づいて計算集約的なデータパイプラインを処理し、異なるオンラインソースからのリアルタイム検出、収集、共有が可能な、効率的で優れたプラットフォームの実装について説明する。
私たちは、Tweepy、Scrapy、Terraform、ELK、Kafka、MLOpsを使用して、野生のIOCを自律的に検索、抽出、インデックスするコンテナ化されたマイクロサービスアーキテクチャである、プロトタイププラットフォーム(TSTEM)を開発しました。
さらに、TSTEMプラットフォームのプロビジョニング、監視、管理は、インフラストラクチャ・アズ・コード(IaC)を通じて行われる。
カスタムフォーカスクローラはWebコンテンツを収集し、第1レベルの分類器によって処理され、妥協の潜在的な指標(IOC)を特定する。
関連性があると判断された場合、コンテンツはさらなる検査のために第2レベルの抽出に進む。
このプロセスを通じて、最先端のNLPモデルは分類と実体抽出に利用され、IOC全体の抽出手法が強化される。
実験の結果,これらのモデルでは分類および抽出作業において高い精度(98%)を示し,その性能は1分以内の時間枠で達成できた。
本システムの有効性は,複数の段階で動作し,偽陽性率の低い関連情報の正確な識別を確実にする,微調整のIOC抽出法によるものである。
関連論文リスト
- Systematic review, analysis, and characterisation of malicious industrial network traffic datasets for aiding Machine Learning algorithm performance testing [0.0]
本稿では,公開可能なネットワークトラフィックキャプチャに基づくデータセットを体系的にレビューする。
これには、含まれた攻撃タイプの分類、メタデータのレビュー、統計分析、複雑さ分析が含まれる。
研究者にメタデータを提供し、研究の質問に最適なデータセットを選択するのに使用できる。
論文 参考訳(メタデータ) (2024-05-08T07:48:40Z) - Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。
FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。
実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文 参考訳(メタデータ) (2024-01-22T14:16:37Z) - Integration of Domain Expert-Centric Ontology Design into the CRISP-DM
for Cyber-Physical Production Systems [63.62764375279861]
機械学習(ML)とデータマイニング(DM)の手法は、収集されたデータから複雑で隠れたパターンを抽出する上で有望であることが証明されている。
しかし、このようなデータ駆動プロジェクトは、通常、CRISPDM(Cross-Industry Standard Process for Data Mining)で実行され、データの理解と準備に要する時間の不均等さのために失敗することが多い。
このコントリビューションは、データサイエンティストがCPPSの課題に対してより迅速かつ確実に洞察を得ることができるように、統合されたアプローチを提供することを目的としている。
論文 参考訳(メタデータ) (2023-07-21T15:04:00Z) - Time for aCTIon: Automated Analysis of Cyber Threat Intelligence in the
Wild [2.4669630540735215]
サイバー脅威インテリジェンス(CTI)は、リスクの評価と組織のセキュリティ向上に重要な役割を果たしている。
既存の構造化CTI抽出ツールには性能制限がある。
我々はこれらのギャップを埋め、新しい大きなオープンベンチマークデータセットと構造化されたCTI情報抽出ツールであるaCTIonを提供する。
論文 参考訳(メタデータ) (2023-07-14T13:43:16Z) - ARLIF-IDS -- Attention augmented Real-Time Isolation Forest Intrusion
Detection System [0.0]
Internet of ThingsとSoftware Defined Networkingは、DDoS攻撃の早期検出に軽量戦略を活用する。
低数の機能に基づいて、迅速かつ効果的なセキュリティ識別モデルを持つことが不可欠である。
本研究は,新規なアテンションベース森林侵入検知システムを提案する。
論文 参考訳(メタデータ) (2022-04-20T18:40:23Z) - Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。
このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
論文 参考訳(メタデータ) (2022-02-17T02:01:37Z) - A Deep-Learning Intelligent System Incorporating Data Augmentation for
Short-Term Voltage Stability Assessment of Power Systems [9.299576471941753]
本稿では,電力系統のSTVSAにデータ拡張を取り入れた新しいディープラーニング知能システムを提案する。
半教師付きクラスタ学習を利用して、ラベル付きサンプルを元の小さなデータセットで取得する。
条件付き最小二乗生成逆数ネットワーク(LSGAN)ベースのデータ拡張を導入し、元のデータセットを拡張する。
論文 参考訳(メタデータ) (2021-12-05T11:40:54Z) - A SPA-based Manifold Learning Framework for Motor Imagery EEG Data
Classification [2.4727719996518487]
本稿では,運動画像(MI)タスクから2種類の脳波データを分類するための多様体学習フレームワークを提案する。
特徴抽出のために、前処理された脳波信号から共通空間パターン(CSP)によって実装される。
分類のための特徴の近傍では、データの支持に対する局所近似が得られ、次に最も近い支持を持つクラスに特徴が割り当てられる。
論文 参考訳(メタデータ) (2021-07-30T06:18:05Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳(メタデータ) (2021-03-22T20:36:34Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳(メタデータ) (2021-02-25T14:24:49Z) - Towards AIOps in Edge Computing Environments [60.27785717687999]
本稿では,異種分散環境に適用可能なaiopsプラットフォームのシステム設計について述べる。
高頻度でメトリクスを収集し、エッジデバイス上で特定の異常検出アルゴリズムを直接実行することが可能である。
論文 参考訳(メタデータ) (2021-02-12T09:33:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。