Fugu-MT 論文翻訳(概要): Extending Isolation Forest for Anomaly Detection in Big Data via K-Means

論文の概要: Extending Isolation Forest for Anomaly Detection in Big Data via K-Means

arxiv url: http://arxiv.org/abs/2104.13190v1
Date: Tue, 27 Apr 2021 16:21:48 GMT
ステータス: 処理完了
システム内更新日: 2021-04-28 16:00:35.906427
Title: Extending Isolation Forest for Anomaly Detection in Big Data via K-Means
Title（参考訳）: K-Meansによるビッグデータの異常検出のための孤立林の拡張
Authors: Md Tahmid Rahman Laskar, Jimmy Huang, Vladan Smetana, Chris Stewart, Kees Pouw, Aijun An, Stephen Chan, Lei Liu
Abstract要約: 産業用ビッグデータシナリオにおける異常検出のためのK-MeansアルゴリズムとIsolation Forestを組み合わせた新しい教師なし機械学習アプローチを提案する。 Apache Sparkフレームワークを使用して、大規模なネットワークトラフィックデータでトレーニングされた提案モデルを実装しています。提案手法は, 産業設備におけるリアルタイム異常検出に有効であることがわかった。
参考スコア（独自算出の注目度）: 8.560480662599407
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Industrial Information Technology (IT) infrastructures are often vulnerable to cyberattacks. To ensure security to the computer systems in an industrial environment, it is required to build effective intrusion detection systems to monitor the cyber-physical systems (e.g., computer networks) in the industry for malicious activities. This paper aims to build such intrusion detection systems to protect the computer networks from cyberattacks. More specifically, we propose a novel unsupervised machine learning approach that combines the K-Means algorithm with the Isolation Forest for anomaly detection in industrial big data scenarios. Since our objective is to build the intrusion detection system for the big data scenario in the industrial domain, we utilize the Apache Spark framework to implement our proposed model which was trained in large network traffic data (about 123 million instances of network traffic) stored in Elasticsearch. Moreover, we evaluate our proposed model on the live streaming data and find that our proposed system can be used for real-time anomaly detection in the industrial setup. In addition, we address different challenges that we face while training our model on large datasets and explicitly describe how these issues were resolved. Based on our empirical evaluation in different use-cases for anomaly detection in real-world network traffic data, we observe that our proposed system is effective to detect anomalies in big data scenarios. Finally, we evaluate our proposed model on several academic datasets to compare with other models and find that it provides comparable performance with other state-of-the-art approaches.
Abstract（参考訳）: 産業情報技術(IT)のインフラは、しばしばサイバー攻撃に弱い。産業環境におけるコンピュータシステムのセキュリティを確保するためには、悪意ある活動のために業界内のサイバー物理システム(例えばコンピュータネットワーク)を監視する効果的な侵入検知システムを構築する必要がある。本稿では,サイバー攻撃からコンピュータネットワークを保護する侵入検知システムを構築することを目的とする。具体的には,k-meansアルゴリズムとアイソレーションフォレストを組み合わせた,産業ビッグデータシナリオにおける異常検出のための教師なし機械学習手法を提案する。我々は産業領域におけるビッグデータシナリオの侵入検知システムを構築することを目的としており、Apache Sparkフレームワークを使用してElasticsearchに格納された大規模ネットワークトラフィックデータ(約123万インスタンスのネットワークトラフィック)でトレーニングされたモデルを実装する。さらに,本提案手法をライブストリーミングデータ上で評価し,産業設備におけるリアルタイム異常検出に活用できることを見出した。さらに、大規模なデータセットでモデルをトレーニングしながら直面するさまざまな課題にも対処し、これらの問題がどのように解決されたかを明確に説明します。実世界のネットワークトラフィックデータにおける異常検出のための様々なユースケースにおける経験的評価に基づいて,提案システムはビッグデータシナリオにおける異常検出に有効であることを示す。最後に、提案したモデルをいくつかの学術データセットで評価し、他のモデルと比較し、他の最先端のアプローチと同等のパフォーマンスを提供することを示した。

関連論文リスト

Enhanced Anomaly Detection in Industrial Control Systems aided by Machine Learning [2.2457306746668766]
本研究は,ICS環境におけるネットワークデータとプロセスデータの組み合わせによる攻撃検出の改善について検討する。この結果から,ネットワークトラフィックと運用プロセスデータの統合により,検出能力が向上することが示唆された。結果は有望だが、彼らは予備的であり、さらなる研究の必要性を強調している。
論文参考訳（メタデータ） (2024-10-25T17:41:33Z)
Enhancing Automata Learning with Statistical Machine Learning: A Network Security Case Study [4.2751988244805466]
本稿では,ネットワークトラヒックデータから状態マシンを抽出するために,オートマチック学習を用いる。我々は,産業パートナーのRabbitRun Technologiesが開発した商用ネットワーク侵入検知システムに適用する。我々の手法は、学習された状態マシンの状態数と遷移を平均67.5%削減する。
論文参考訳（メタデータ） (2024-05-18T02:10:41Z)
IPAD: Industrial Process Anomaly Detection Dataset [71.39058003212614]
ビデオ異常検出(VAD)は,ビデオフレーム内の異常を認識することを目的とした課題である。本稿では,産業シナリオにおけるVADに特化して設計された新しいデータセットIPADを提案する。このデータセットは16の異なる産業用デバイスをカバーし、合成ビデオと実世界のビデオの両方を6時間以上保存している。
論文参考訳（メタデータ） (2024-04-23T13:38:01Z)
Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文参考訳（メタデータ） (2024-01-22T14:16:37Z)
A Variational Autoencoder Framework for Robust, Physics-Informed Cyberattack Recognition in Industrial Cyber-Physical Systems [2.051548207330147]
我々は、産業制御システムに対する秘密攻撃と呼ばれるサイバー攻撃を検出し、診断し、ローカライズするために使用できるデータ駆動フレームワークを開発する。このフレームワークは、可変オートエンコーダ(VAE)、リカレントニューラルネットワーク(RNN)、ディープニューラルネットワーク(DNN)を組み合わせたハイブリッド設計である。
論文参考訳（メタデータ） (2023-10-10T19:07:53Z)
Leveraging a Probabilistic PCA Model to Understand the Multivariate Statistical Network Monitoring Framework for Network Security Anomaly Detection [64.1680666036655]
確率的生成モデルの観点からPCAに基づく異常検出手法を再検討する。 2つの異なるデータセットを用いて数学的モデルを評価した。
論文参考訳（メタデータ） (2023-02-02T13:41:18Z)
Deep Learning based Covert Attack Identification for Industrial Control Systems [5.299113288020827]
我々は、スマートグリッドに対する秘密攻撃と呼ばれるサイバー攻撃を検出し、診断し、ローカライズするために使用できるデータ駆動フレームワークを開発した。このフレームワークは、オートエンコーダ、リカレントニューラルネットワーク(RNN)とLong-Short-Term-Memory層、Deep Neural Network(DNN)を組み合わせたハイブリッド設計である。
論文参考訳（メタデータ） (2020-09-25T17:48:43Z)
AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning [72.99415402575886]
外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2020-06-19T18:57:51Z)
Data Mining with Big Data in Intrusion Detection Systems: A Systematic Literature Review [68.15472610671748]
クラウドコンピューティングは、複雑で高性能でスケーラブルな計算のために、強力で必要不可欠な技術になっている。データ生成の迅速化とボリュームは、データ管理とセキュリティに重大な課題をもたらし始めている。ビッグデータ設定における侵入検知システム(IDS)の設計と展開が重要視されている。
論文参考訳（メタデータ） (2020-05-23T20:57:12Z)
Survey of Network Intrusion Detection Methods from the Perspective of the Knowledge Discovery in Databases Process [63.75363908696257]
本稿では,侵入検知器の開発を目的として,ネットワークデータに適用された手法について概説する。本稿では,データのキャプチャ,準備,変換,データマイニング,評価などの手法について論じる。この文献レビューの結果、ネットワークセキュリティ分野のさらなる研究のために考慮すべきいくつかのオープンな問題について検討する。
論文参考訳（メタデータ） (2020-01-27T11:21:05Z)
Deep Learning-Based Intrusion Detection System for Advanced Metering Infrastructure [0.0]
スマートグリッドはさまざまな脅威に晒され、サイバー攻撃に変換される可能性がある。本稿では,サイバー攻撃防止のためのディープラーニングによる侵入検知システムの開発を行う。
論文参考訳（メタデータ） (2019-12-31T21:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。