論文の概要: Evaluating ML-Based Anomaly Detection Across Datasets of Varied Integrity: A Case Study
- arxiv url: http://arxiv.org/abs/2401.16843v2
- Date: Tue, 25 Jun 2024 10:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 20:40:18.159016
- Title: Evaluating ML-Based Anomaly Detection Across Datasets of Varied Integrity: A Case Study
- Title(参考訳): 弁別整合性データセット間のMLによる異常検出の評価 : 症例的検討
- Authors: Adrian Pekar, Richard Jozsa,
- Abstract要約: そこで我々は,NFStreamを用いて処理したCICIDS-2017データセットの2つの改良版を紹介した。
我々の研究は、元のCICIDS-2017、改良されたWTMC-2021とCRiSIS-2022、およびNFStream生成データセットに対するランダムフォレスト(RF)アルゴリズムのパフォーマンスを対照的にしている。
RFモデルは、基礎となるデータセットの品質に関わらず、一貫した高性能なメトリクスを達成し、例外的な堅牢性を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cybersecurity remains a critical challenge in the digital age, with network traffic flow anomaly detection being a key pivotal instrument in the fight against cyber threats. In this study, we address the prevalent issue of data integrity in network traffic datasets, which are instrumental in developing machine learning (ML) models for anomaly detection. We introduce two refined versions of the CICIDS-2017 dataset, NFS-2023-nTE and NFS-2023-TE, processed using NFStream to ensure methodologically sound flow expiration and labeling. Our research contrasts the performance of the Random Forest (RF) algorithm across the original CICIDS-2017, its refined counterparts WTMC-2021 and CRiSIS-2022, and our NFStream-generated datasets, in both binary and multi-class classification contexts. We observe that the RF model exhibits exceptional robustness, achieving consistent high-performance metrics irrespective of the underlying dataset quality, which prompts a critical discussion on the actual impact of data integrity on ML efficacy. Our study underscores the importance of continual refinement and methodological rigor in dataset generation for network security research. As the landscape of network threats evolves, so must the tools and techniques used to detect and analyze them.
- Abstract(参考訳): サイバーセキュリティはデジタル時代の重要な課題であり、ネットワークトラフィックの異常検出はサイバー脅威と戦う上で重要な手段である。
本研究では,異常検出のための機械学習(ML)モデルの開発に有効な,ネットワークトラフィックデータセットにおけるデータ整合性の問題に対処する。
NFStreamを用いたCICIDS-2017データセット, NFS-2023-nTE と NFS-2023-TE の2つの改良版を導入し, 組織学的に流れの消音とラベル付けを保証した。
我々の研究は、元のCICIDS-2017におけるランダムフォレスト(RF)アルゴリズム、改良されたWTMC-2021とCRiSIS-2022、およびNFStream生成データセットのパフォーマンスをバイナリとマルチクラスの両方の分類文脈で比較した。
RFモデルは、データセットの品質に関わらず、一貫した高性能なメトリクスを達成し、データの完全性がMLの有効性に与える影響について批判的な議論を巻き起こす。
本研究は,ネットワークセキュリティ研究におけるデータセット生成における継続的洗練と方法論的厳密さの重要性を浮き彫りにするものである。
ネットワーク脅威の展望が進化するにつれて、それらを検出し分析するために使用されるツールやテクニックも進化しなければなりません。
関連論文リスト
- Enhancing IoT Security with CNN and LSTM-Based Intrusion Detection Systems [0.23408308015481666]
提案モデルは,畳み込みニューラルネットワーク(CNN)と長短期記憶(LSTM)ディープラーニング(DL)モデルを組み合わせて構成する。
この融合により、IoTトラフィックをバイナリカテゴリ、良性、悪意のあるアクティビティに検出し、分類することが可能になる。
提案モデルの精度は98.42%,最小損失は0.0275である。
論文 参考訳(メタデータ) (2024-05-28T22:12:15Z) - SIRST-5K: Exploring Massive Negatives Synthesis with Self-supervised
Learning for Robust Infrared Small Target Detection [53.19618419772467]
単一フレーム赤外線小ターゲット検出(SIRST)は、乱雑な背景から小さなターゲットを認識することを目的としている。
Transformerの開発に伴い、SIRSTモデルのスケールは常に増大している。
赤外線小ターゲットデータの多彩な多様性により,本アルゴリズムはモデル性能と収束速度を大幅に改善する。
論文 参考訳(メタデータ) (2024-03-08T16:14:54Z) - Machine learning-based network intrusion detection for big and
imbalanced data using oversampling, stacking feature embedding and feature
extraction [6.374540518226326]
侵入検知システム(IDS)は、悪意あるアクターや活動を検出することによって相互接続ネットワークを保護する上で重要な役割を果たす。
本稿では,データ不均衡にRandom Oversampling (RO) を用いる新しいMLベースのネットワーク侵入検出モデルと,次元削減のためのStacking Feature Embedding (PCA)を提案する。
CIC-IDS 2017データセットを使用すると、DT、RF、ETモデルは99.99%の精度に達し、DTとRFモデルはCIC-IDS 2018データセットで99.94%の精度が得られる。
論文 参考訳(メタデータ) (2024-01-22T05:49:41Z) - TII-SSRC-23 Dataset: Typological Exploration of Diverse Traffic Patterns
for Intrusion Detection [0.5261718469769447]
既存のデータセットは、しばしば不足しており、必要な多様性と現在のネットワーク環境との整合性が欠如している。
本稿では,これらの課題を克服するための新しい包括的データセットであるTII-SSRC-23を紹介する。
論文 参考訳(メタデータ) (2023-09-14T05:23:36Z) - Leveraging a Probabilistic PCA Model to Understand the Multivariate
Statistical Network Monitoring Framework for Network Security Anomaly
Detection [64.1680666036655]
確率的生成モデルの観点からPCAに基づく異常検出手法を再検討する。
2つの異なるデータセットを用いて数学的モデルを評価した。
論文 参考訳(メタデータ) (2023-02-02T13:41:18Z) - A Dependable Hybrid Machine Learning Model for Network Intrusion
Detection [1.222622290392729]
本稿では,機械学習とディープラーニングを組み合わせたハイブリッドモデルを提案する。
提案手法は,KDDCUP'99とCIC-MalMem-2022の2つのデータセットでテストした場合,優れた結果が得られる。
論文 参考訳(メタデータ) (2022-12-08T20:19:27Z) - From Environmental Sound Representation to Robustness of 2D CNN Models
Against Adversarial Attacks [82.21746840893658]
本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。
DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
論文 参考訳(メタデータ) (2022-04-14T15:14:08Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳(メタデータ) (2021-10-20T06:15:45Z) - Feature Extraction for Machine Learning-based Intrusion Detection in IoT
Networks [6.6147550436077776]
本稿では, 特徴量削減 (FR) と機械学習 (ML) の手法が, 様々なデータセットにまたがって一般化できるかどうかを明らかにすることを目的とする。
主成分分析(PCA)、自動エンコーダ(AE)、線形識別分析(LDA)の3つの特徴抽出(FE)アルゴリズムの検出精度を評価する。
論文 参考訳(メタデータ) (2021-08-28T23:52:18Z) - Semantic Perturbations with Normalizing Flows for Improved
Generalization [62.998818375912506]
我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。
トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
論文 参考訳(メタデータ) (2021-08-18T03:20:00Z) - Bayesian Optimization with Machine Learning Algorithms Towards Anomaly
Detection [66.05992706105224]
本稿では,ベイズ最適化手法を用いた効果的な異常検出フレームワークを提案する。
ISCX 2012データセットを用いて検討したアルゴリズムの性能を評価する。
実験結果から, 精度, 精度, 低コストアラームレート, リコールの観点から, 提案手法の有効性が示された。
論文 参考訳(メタデータ) (2020-08-05T19:29:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。