論文の概要: An Efficient Anomaly Detection Approach using Cube Sampling with
Streaming Data
- arxiv url: http://arxiv.org/abs/2110.01813v1
- Date: Tue, 5 Oct 2021 04:23:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-06 14:07:18.288218
- Title: An Efficient Anomaly Detection Approach using Cube Sampling with
Streaming Data
- Title(参考訳): ストリームデータを用いた立方体サンプリングによる効率的な異常検出手法
- Authors: Seemandhar Jain, Prarthi Jain, Abhishek Srivastava
- Abstract要約: 異常検出は侵入検知、健康モニタリング、故障診断、センサネットワークイベント検出など様々な分野で重要である。
孤立林(アイフォレスト)アプローチは、異常を検出するためのよく知られた手法である。
本稿では,ストリーミングデータに有効なキューブサンプリングを用いた,効率的なiForestに基づく異常検出手法を提案する。
- 参考スコア(独自算出の注目度): 2.0515785954568626
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Anomaly detection is critical in various fields, including intrusion
detection, health monitoring, fault diagnosis, and sensor network event
detection. The isolation forest (or iForest) approach is a well-known technique
for detecting anomalies. It is, however, ineffective when dealing with dynamic
streaming data, which is becoming increasingly prevalent in a wide variety of
application areas these days. In this work, we extend our previous work by
proposed an efficient iForest based approach for anomaly detection using cube
sampling that is effective on streaming data. Cube sampling is used in the
initial stage to choose nearly balanced samples, significantly reducing storage
requirements while preserving efficiency. Following that, the streaming nature
of data is addressed by a sliding window technique that generates consecutive
chunks of data for systematic processing. The novelty of this paper is in
applying Cube sampling in iForest and calculating inclusion probability. The
proposed approach is equally successful at detecting anomalies as existing
state-of-the-art approaches, requiring significantly less storage and time
complexity. We undertake empirical evaluations of the proposed approach using
standard datasets and demonstrate that it outperforms traditional approaches in
terms of Area Under the ROC Curve (AUC-ROC) and can handle high-dimensional
streaming data.
- Abstract(参考訳): 異常検出は侵入検知、健康モニタリング、故障診断、センサネットワークイベント検出など様々な分野で重要である。
孤立林(アイフォレスト)アプローチは異常を検出する技術としてよく知られている。
しかし、最近の様々なアプリケーション領域でますます普及している動的ストリーミングデータを扱う場合、それは効果がない。
本研究では,ストリーミングデータに有効である立方体サンプリングを用いた異常検出のための効率的なiforestに基づく手法を提案する。
キューブサンプリングは初期段階でほぼバランスの取れたサンプルを選択するために使われ、効率を保ちながらストレージ要件を大幅に削減する。
その後、データのストリーミング特性はスライディングウインドウ技術によって対処され、システマティック処理のための連続的なチャンクデータを生成する。
本論文の新規性は,iForestにおけるCubeサンプリングの適用と包摂確率の算出である。
提案手法は、既存の最先端アプローチと同様に異常を検出するのに等しく成功し、ストレージと時間の複雑さを著しく低減する。
提案手法を標準データセットを用いて実証評価し,ROC曲線(AUC-ROC)において従来の手法よりも優れ,高次元ストリーミングデータを扱うことができることを示す。
関連論文リスト
- Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳(メタデータ) (2023-10-04T09:39:05Z) - On the Universal Adversarial Perturbations for Efficient Data-free
Adversarial Detection [55.73320979733527]
本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。
実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
論文 参考訳(メタデータ) (2023-06-27T02:54:07Z) - Anomaly Detection with Ensemble of Encoder and Decoder [2.8199078343161266]
電力網における異常検出は、電力系統に対するサイバー攻撃による異常を検出し、識別することを目的としている。
本稿では,複数のエンコーダとデコーダを用いて正規サンプルのデータ分布をモデル化し,新しい異常検出手法を提案する。
ネットワーク侵入と電力系統データセットの実験結果から,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-03-11T15:49:29Z) - Real-time Anomaly Detection for Multivariate Data Streams [0.0]
本稿では,PEWMA(Probabilistic Exponentially Weighted Average)に基づくデータストリームに対するリアルタイム多変量異常検出アルゴリズムを提案する。
我々の定式化は、データの(突然の過渡的、急激な分布的、段階的な分布的な)シフトに対して弾力性がある。
提案する異常検出アルゴリズムは,ラベル付きサンプルを不要にすることなく,教師なしで動作する。
論文 参考訳(メタデータ) (2022-09-26T03:40:37Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳(メタデータ) (2022-04-23T02:45:55Z) - GAN Based Boundary Aware Classifier for Detecting Out-of-distribution
Samples [24.572516991009323]
本稿では,ほとんどのIDデータのみを含む閉じたハイパースペースを生成するためのGANベースの境界認識分類器(GBAC)を提案する。
本手法は, 従来のニューラルネットが, 未閉鎖領域として特徴空間を分離し, オード検出に適さない。
GBACを補助モジュールとして、閉じたハイパースペースの外に分散されたoodデータは、より低いスコアで割り当てられ、より効果的なood検出が可能になる。
論文 参考訳(メタデータ) (2021-12-22T03:35:54Z) - Fast Wireless Sensor Anomaly Detection based on Data Stream in Edge
Computing Enabled Smart Greenhouse [5.716360276016705]
エッジコンピューティングを有効にするスマート温室は、IoT技術の代表的なアプリケーションである。
従来の異常検出アルゴリズムは、無線センサによって生成されたデータストリームの特性を適切に考慮していない。
論文 参考訳(メタデータ) (2021-07-28T13:32:12Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳(メタデータ) (2021-05-30T22:07:13Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳(メタデータ) (2020-09-16T15:52:04Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2020-04-15T06:13:33Z) - Anomaly Detection in Trajectory Data with Normalizing Flows [0.0]
本稿では,ニューラルネットワークを用いたデータから複雑な密度推定を可能にする,正規化フローに基づく手法を提案する。
提案手法は, 軌道の各セグメントに対して, 流れを正規化する重要な特徴である, 正確なモデル確率値を算出する。
実世界の軌道データを用いて, 正規化フローを用いた集約異常検出法(GRADINGS)を評価し, 従来の異常検出法と比較した。
論文 参考訳(メタデータ) (2020-04-13T14:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。