論文の概要: Extending Isolation Forest for Anomaly Detection in Big Data via K-Means
- arxiv url: http://arxiv.org/abs/2104.13190v1
- Date: Tue, 27 Apr 2021 16:21:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 16:00:35.906427
- Title: Extending Isolation Forest for Anomaly Detection in Big Data via K-Means
- Title(参考訳): K-Meansによるビッグデータの異常検出のための孤立林の拡張
- Authors: Md Tahmid Rahman Laskar, Jimmy Huang, Vladan Smetana, Chris Stewart,
Kees Pouw, Aijun An, Stephen Chan, Lei Liu
- Abstract要約: 産業用ビッグデータシナリオにおける異常検出のためのK-MeansアルゴリズムとIsolation Forestを組み合わせた新しい教師なし機械学習アプローチを提案する。
Apache Sparkフレームワークを使用して、大規模なネットワークトラフィックデータでトレーニングされた提案モデルを実装しています。
提案手法は, 産業設備におけるリアルタイム異常検出に有効であることがわかった。
- 参考スコア(独自算出の注目度): 8.560480662599407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Industrial Information Technology (IT) infrastructures are often vulnerable
to cyberattacks. To ensure security to the computer systems in an industrial
environment, it is required to build effective intrusion detection systems to
monitor the cyber-physical systems (e.g., computer networks) in the industry
for malicious activities. This paper aims to build such intrusion detection
systems to protect the computer networks from cyberattacks. More specifically,
we propose a novel unsupervised machine learning approach that combines the
K-Means algorithm with the Isolation Forest for anomaly detection in industrial
big data scenarios. Since our objective is to build the intrusion detection
system for the big data scenario in the industrial domain, we utilize the
Apache Spark framework to implement our proposed model which was trained in
large network traffic data (about 123 million instances of network traffic)
stored in Elasticsearch. Moreover, we evaluate our proposed model on the live
streaming data and find that our proposed system can be used for real-time
anomaly detection in the industrial setup. In addition, we address different
challenges that we face while training our model on large datasets and
explicitly describe how these issues were resolved. Based on our empirical
evaluation in different use-cases for anomaly detection in real-world network
traffic data, we observe that our proposed system is effective to detect
anomalies in big data scenarios. Finally, we evaluate our proposed model on
several academic datasets to compare with other models and find that it
provides comparable performance with other state-of-the-art approaches.
- Abstract(参考訳): 産業情報技術(IT)のインフラは、しばしばサイバー攻撃に弱い。
産業環境におけるコンピュータシステムのセキュリティを確保するためには、悪意ある活動のために業界内のサイバー物理システム(例えばコンピュータネットワーク)を監視する効果的な侵入検知システムを構築する必要がある。
本稿では,サイバー攻撃からコンピュータネットワークを保護する侵入検知システムを構築することを目的とする。
具体的には,k-meansアルゴリズムとアイソレーションフォレストを組み合わせた,産業ビッグデータシナリオにおける異常検出のための教師なし機械学習手法を提案する。
我々は産業領域におけるビッグデータシナリオの侵入検知システムを構築することを目的としており、Apache Sparkフレームワークを使用してElasticsearchに格納された大規模ネットワークトラフィックデータ(約123万インスタンスのネットワークトラフィック)でトレーニングされたモデルを実装する。
さらに,本提案手法をライブストリーミングデータ上で評価し,産業設備におけるリアルタイム異常検出に活用できることを見出した。
さらに、大規模なデータセットでモデルをトレーニングしながら直面するさまざまな課題にも対処し、これらの問題がどのように解決されたかを明確に説明します。
実世界のネットワークトラフィックデータにおける異常検出のための様々なユースケースにおける経験的評価に基づいて,提案システムはビッグデータシナリオにおける異常検出に有効であることを示す。
最後に、提案したモデルをいくつかの学術データセットで評価し、他のモデルと比較し、他の最先端のアプローチと同等のパフォーマンスを提供することを示した。
関連論文リスト
- A Variational Autoencoder Framework for Robust, Physics-Informed
Cyberattack Recognition in Industrial Cyber-Physical Systems [2.051548207330147]
我々は、産業制御システムに対する秘密攻撃と呼ばれるサイバー攻撃を検出し、診断し、ローカライズするために使用できるデータ駆動フレームワークを開発する。
このフレームワークは、可変オートエンコーダ(VAE)、リカレントニューラルネットワーク(RNN)、ディープニューラルネットワーク(DNN)を組み合わせたハイブリッド設計である。
論文 参考訳(メタデータ) (2023-10-10T19:07:53Z) - Leveraging a Probabilistic PCA Model to Understand the Multivariate
Statistical Network Monitoring Framework for Network Security Anomaly
Detection [64.1680666036655]
確率的生成モデルの観点からPCAに基づく異常検出手法を再検討する。
2つの異なるデータセットを用いて数学的モデルを評価した。
論文 参考訳(メタデータ) (2023-02-02T13:41:18Z) - Towards AIOps in Edge Computing Environments [60.27785717687999]
本稿では,異種分散環境に適用可能なaiopsプラットフォームのシステム設計について述べる。
高頻度でメトリクスを収集し、エッジデバイス上で特定の異常検出アルゴリズムを直接実行することが可能である。
論文 参考訳(メタデータ) (2021-02-12T09:33:00Z) - Multi-Source Data Fusion for Cyberattack Detection in Power Systems [1.8914160585516038]
複数のデータソースからの情報を融合することで,サイバーインシデントの発生を識別し,偽陽性を低減できることが示されている。
我々は、サイバー物理電力システムテストベッドでIDSを訓練するためのマルチソースデータ融合を行う。
提案するデータ融合アプリケーションを用いて偽データとコマンドインジェクションに基づく中間攻撃を推測する。
論文 参考訳(メタデータ) (2021-01-18T06:34:45Z) - Real-World Anomaly Detection by using Digital Twin Systems and
Weakly-Supervised Learning [3.0100975935933567]
本稿では, 産業環境における異常検出に対する弱い制御手法を提案する。
これらのアプローチでは、Digital Twinを使用して、機械の通常の動作をシミュレートするトレーニングデータセットを生成する。
提案手法の性能を,実世界のデータセットに応用した様々な最先端の異常検出アルゴリズムと比較した。
論文 参考訳(メタデータ) (2020-11-12T10:15:56Z) - Deep Learning based Covert Attack Identification for Industrial Control
Systems [5.299113288020827]
我々は、スマートグリッドに対する秘密攻撃と呼ばれるサイバー攻撃を検出し、診断し、ローカライズするために使用できるデータ駆動フレームワークを開発した。
このフレームワークは、オートエンコーダ、リカレントニューラルネットワーク(RNN)とLong-Short-Term-Memory層、Deep Neural Network(DNN)を組み合わせたハイブリッド設計である。
論文 参考訳(メタデータ) (2020-09-25T17:48:43Z) - AutoOD: Automated Outlier Detection via Curiosity-guided Search and
Self-imitation Learning [72.99415402575886]
外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。
本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。
さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2020-06-19T18:57:51Z) - Data Mining with Big Data in Intrusion Detection Systems: A Systematic
Literature Review [68.15472610671748]
クラウドコンピューティングは、複雑で高性能でスケーラブルな計算のために、強力で必要不可欠な技術になっている。
データ生成の迅速化とボリュームは、データ管理とセキュリティに重大な課題をもたらし始めている。
ビッグデータ設定における侵入検知システム(IDS)の設計と展開が重要視されている。
論文 参考訳(メタデータ) (2020-05-23T20:57:12Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2020-04-15T06:13:33Z) - Survey of Network Intrusion Detection Methods from the Perspective of
the Knowledge Discovery in Databases Process [63.75363908696257]
本稿では,侵入検知器の開発を目的として,ネットワークデータに適用された手法について概説する。
本稿では,データのキャプチャ,準備,変換,データマイニング,評価などの手法について論じる。
この文献レビューの結果、ネットワークセキュリティ分野のさらなる研究のために考慮すべきいくつかのオープンな問題について検討する。
論文 参考訳(メタデータ) (2020-01-27T11:21:05Z) - Deep Learning-Based Intrusion Detection System for Advanced Metering
Infrastructure [0.0]
スマートグリッドはさまざまな脅威に晒され、サイバー攻撃に変換される可能性がある。
本稿では,サイバー攻撃防止のためのディープラーニングによる侵入検知システムの開発を行う。
論文 参考訳(メタデータ) (2019-12-31T21:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。