論文の概要: Anomaly detection optimization using big data and deep learning to
reduce false-positive
- arxiv url: http://arxiv.org/abs/2209.13965v1
- Date: Wed, 28 Sep 2022 09:52:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 16:39:03.678189
- Title: Anomaly detection optimization using big data and deep learning to
reduce false-positive
- Title(参考訳): ビッグデータとディープラーニングを用いた異常検出最適化による偽陽性の低減
- Authors: Khloud Al Jallad, Mohamad Aljnidi, Mohammad Said Desouki
- Abstract要約: 異常に基づく侵入検知システム(IDS)は、新たな脅威を検出する能力から、ホットな研究課題となっている。
偽陽性率が高いのは、異常IDSが一般的に適用されない理由である。
本研究では,従来のモデルではなく,より一般化可能なディープモデルを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Anomaly-based Intrusion Detection System (IDS) has been a hot research topic
because of its ability to detect new threats rather than only memorized
signatures threats of signature-based IDS. Especially after the availability of
advanced technologies that increase the number of hacking tools and increase
the risk impact of an attack. The problem of any anomaly-based model is its
high false-positive rate. The high false-positive rate is the reason why
anomaly IDS is not commonly applied in practice. Because anomaly-based models
classify an unseen pattern as a threat where it may be normal but not included
in the training dataset. This type of problem is called overfitting where the
model is not able to generalize. Optimizing Anomaly-based models by having a
big training dataset that includes all possible normal cases may be an optimal
solution but could not be applied in practice. Although we can increase the
number of training samples to include much more normal cases, still we need a
model that has more ability to generalize. In this research paper, we propose
applying deep model instead of traditional models because it has more ability
to generalize. Thus, we will obtain less false-positive by using big data and
deep model. We made a comparison between machine learning and deep learning
algorithms in the optimization of anomaly-based IDS by decreasing the
false-positive rate. We did an experiment on the NSL-KDD benchmark and compared
our results with one of the best used classifiers in traditional learning in
IDS optimization. The experiment shows 10% lower false-positive by using deep
learning instead of traditional learning.
- Abstract(参考訳): 異常に基づく侵入検知システム(IDS)は、署名ベースのIDSの脅威を記憶するだけでなく、新たな脅威を検出する能力があるため、ホットな研究トピックとなっている。
特に、ハッキングツールの数を増やし、攻撃のリスク影響を高める高度な技術が利用可能になった後です。
異常に基づくモデルの問題は、その高い偽陽性率である。
偽陽性率が高いのは、異常IDSが一般的に適用されない理由である。
異常ベースモデルでは、見当たらないパターンを、正常ではあるがトレーニングデータセットには含まれない脅威として分類する。
このような問題は、モデルを一般化できないオーバーフィッティングと呼ばれる。
可能なすべての正常ケースを含む大きなトレーニングデータセットを持つことにより、異常ベースのモデルを最適化することは、最適ソリューションかもしれないが、実際には適用できない。
トレーニングサンプルの数を増やして、より正常なケースを含めることもできますが、それでもより一般化可能なモデルが必要です。
本稿では,従来のモデルではなく,より一般化可能なディープモデルを提案する。
したがって、ビッグデータと深層モデルを用いて、偽陽性の低減を図る。
誤り陽性率を下げることにより,異常型IDSの最適化における機械学習とディープラーニングのアルゴリズムの比較を行った。
我々はNSL-KDDベンチマークで実験を行い、その結果をIDS最適化における従来の学習において最もよく使われている分類器の1つと比較した。
この実験では、従来の学習よりも深層学習の方が10%低い偽陽性を示す。
関連論文リスト
- Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。
本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
論文 参考訳(メタデータ) (2024-11-23T19:10:32Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳(メタデータ) (2023-10-12T23:06:52Z) - Towards Causal Deep Learning for Vulnerability Detection [31.59558109518435]
ソフトウェア工学モデルに計算に基づく因果学習を導入する。
以上の結果から,CausalVulはモデル精度,ロバスト性,OOD性能を一貫して改善した。
論文 参考訳(メタデータ) (2023-10-12T00:51:06Z) - LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised
Time Series Anomaly Detection [49.52429991848581]
深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。
本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
論文 参考訳(メタデータ) (2023-10-09T12:36:16Z) - Normality Learning-based Graph Anomaly Detection via Multi-Scale
Contrastive Learning [61.57383634677747]
グラフ異常検出(GAD)は、機械学習やデータマイニングにおいて注目を集めている。
本稿では,マルチスケールコントラスト学習ネットワーク(NLGAD,略語)による正規性学習に基づくGADフレームワークを提案する。
特に,提案アルゴリズムは,最先端手法と比較して検出性能(最大5.89%のAUCゲイン)を向上させる。
論文 参考訳(メタデータ) (2023-09-12T08:06:04Z) - Few-shot Anomaly Detection in Text with Deviation Learning [13.957106119614213]
偏差学習を用いたエンドツーエンド手法で異常スコアを明示的に学習するフレームワークであるFATEを紹介する。
本モデルは,マルチヘッド・セルフアテンション・レイヤと複数インスタンス・ラーニング・アプローチを用いて,異常の異なる振る舞いを学習するために最適化されている。
論文 参考訳(メタデータ) (2023-08-22T20:40:21Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳(メタデータ) (2021-08-01T14:33:17Z) - Deep Visual Anomaly detection with Negative Learning [18.79849041106952]
本稿では、異常検出の強化に負の学習概念を用いる、負の学習を伴う異常検出(ADNL)を提案する。
その考え方は、与えられた少数の異常例を用いて生成モデルの再構成能力を制限することである。
このようにして、ネットワークは通常のデータを再構築することを学ぶだけでなく、異常の可能性のある分布から遠く離れた正規分布を囲む。
論文 参考訳(メタデータ) (2021-05-24T01:48:44Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。