論文の概要: Research on Dynamic Data Flow Anomaly Detection based on Machine Learning
- arxiv url: http://arxiv.org/abs/2409.14796v1
- Date: Mon, 23 Sep 2024 08:19:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 21:01:15.778407
- Title: Research on Dynamic Data Flow Anomaly Detection based on Machine Learning
- Title（参考訳）: 機械学習に基づく動的データフロー異常検出に関する研究
- Authors: Liyang Wang, Yu Cheng, Hao Gong, Jiacheng Hu, Xirui Tang, Iris Li,
- Abstract要約: 本研究では,非教師なし学習法を用いて動的データフローの異常を同定する。
類似したデータをクラスタリングすることで、ラベル付きデータを必要とせずに、通常のトラフィックから著しく逸脱するデータ挙動を検出することができる。
特に、不均衡なデータのコンテキストにおいて、堅牢で適応可能なパフォーマンスを示す。
- 参考スコア（独自算出の注目度）: 11.526496773281938
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The sophistication and diversity of contemporary cyberattacks have rendered the use of proxies, gateways, firewalls, and encrypted tunnels as a standalone defensive strategy inadequate. Consequently, the proactive identification of data anomalies has emerged as a prominent area of research within the field of data security. The majority of extant studies concentrate on sample equilibrium data, with the consequence that the detection effect is not optimal in the context of unbalanced data. In this study, the unsupervised learning method is employed to identify anomalies in dynamic data flows. Initially, multi-dimensional features are extracted from real-time data, and a clustering algorithm is utilised to analyse the patterns of the data. This enables the potential outliers to be automatically identified. By clustering similar data, the model is able to detect data behaviour that deviates significantly from normal traffic without the need for labelled data. The results of the experiments demonstrate that the proposed method exhibits high accuracy in the detection of anomalies across a range of scenarios. Notably, it demonstrates robust and adaptable performance, particularly in the context of unbalanced data.
- Abstract（参考訳）: 現代のサイバー攻撃の高度化と多様性は、プロキシ、ゲートウェイ、ファイアウォール、暗号化トンネルを独立した防御戦略として不適切なものにしている。
その結果、データセキュリティ分野における顕著な研究領域として、データ異常の積極的な同定が出現した。
現存する研究の大半はサンプル平衡データに集中しており、その結果、非平衡データの文脈では検出効果が最適ではない。
本研究では,非教師なし学習法を用いて動的データフローの異常を同定する。
当初、リアルタイムデータから多次元の特徴を抽出し、クラスタリングアルゴリズムを用いてデータのパターンを分析する。
これにより、潜在的な外れ値を自動的に識別できる。
類似したデータをクラスタリングすることで、ラベル付きデータを必要とせずに、通常のトラフィックから著しく逸脱するデータ挙動を検出することができる。
実験の結果,提案手法は様々なシナリオにおける異常検出において高い精度を示すことが示された。
特に、不均衡なデータのコンテキストにおいて、堅牢で適応可能なパフォーマンスを示す。
関連論文リスト
- Approaching Metaheuristic Deep Learning Combos for Automated Data Mining [0.5419570023862531]
本研究では,メタヒューリスティック手法を従来の分類器やニューラルネットワークと組み合わせて自動データマイニングを行う手法を提案する。
手書き文字認識のためのMNISTデータセットの実験を行った。
根拠真理ラベル付きデータセットの検証精度は、これまで見つからなかった他のデータインスタンスのラベルを修正するのに不十分である、という実証的な観察がなされた。
論文 参考訳（メタデータ） (2024-10-16T10:28:22Z) - Anomaly Detection by Context Contrasting [57.695202846009714]
異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。
近年の自己教師型学習の進歩は、この点において大きな可能性を秘めている。
我々はコンテキスト拡張を通じて学習するCon$を提案する。
論文 参考訳（メタデータ） (2024-05-29T07:59:06Z) - DeepHYDRA: Resource-Efficient Time-Series Anomaly Detection in Dynamically-Configured Systems [3.44012349879073]
我々はDeepHYDRA(Deep Hybrid DBSCAN/reduction-based Anomaly Detection)を提案する。
DBSCANと学習ベースの異常検出を組み合わせる。
大規模なデータセットと複雑なデータセットの両方において、異なるタイプの異常を確実に検出できることが示されている。
論文 参考訳（メタデータ） (2024-05-13T13:47:15Z) - WePaMaDM-Outlier Detection: Weighted Outlier Detection using Pattern
Approaches for Mass Data Mining [0.6754597324022876]
外乱検出は、システム障害、不正行為、およびデータ内のパターンに関する重要な情報を明らかにすることができる。
本稿では、異なる質量データマイニング領域を持つWePaMaDM-Outlier Detectionを提案する。
また, 監視, 故障検出, 傾向解析において, 異常検出技術におけるデータモデリングの重要性についても検討した。
論文 参考訳（メタデータ） (2023-06-09T07:00:00Z) - Fast kernel methods for Data Quality Monitoring as a goodness-of-fit
test [10.882743697472755]
本稿では,粒子検出器をリアルタイムで監視するための機械学習手法を提案する。
目標は、入ってくる実験データと参照データセットとの互換性を評価し、通常の状況下でのデータ挙動を特徴づけることである。
このモデルはカーネルメソッドの現代的な実装に基づいており、十分なデータを与えられた連続関数を学習できる非パラメトリックアルゴリズムである。
論文 参考訳（メタデータ） (2023-03-09T16:59:35Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳（メタデータ） (2022-12-06T12:42:11Z) - Data-SUITE: Data-centric identification of in-distribution incongruous
examples [81.21462458089142]
Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。
我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
論文 参考訳（メタデータ） (2022-02-17T18:58:31Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳（メタデータ） (2020-09-16T15:52:04Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-22T14:49:33Z) - Categorical anomaly detection in heterogeneous data using minimum
description length clustering [3.871148938060281]
異種データを扱うため,MPLに基づく異常検出モデルの拡張のためのメタアルゴリズムを提案する。
実験の結果, 離散混合モデルを用いることで, 従来の2つの異常検出アルゴリズムと比較して, 競合性能が向上することがわかった。
論文 参考訳（メタデータ） (2020-06-14T14:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。