論文の概要: CSCAD: Correlation Structure-based Collective Anomaly Detection in
Complex System
- arxiv url: http://arxiv.org/abs/2105.14476v1
- Date: Sun, 30 May 2021 09:28:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 17:05:39.967499
- Title: CSCAD: Correlation Structure-based Collective Anomaly Detection in
Complex System
- Title(参考訳): CSCAD:複雑なシステムにおける相関構造に基づく集団異常検出
- Authors: Huiling Qin, Xianyuan Zhan, Yu Zheng
- Abstract要約: 大規模システムにおける高次元異常検出問題に対する相関構造に基づく集団異常検出モデルを提案する。
本フレームワークでは,変分オートエンコーダを組み合わせたグラフ畳み込みネットワークを用いて,特徴空間の相関とサンプルの再構成不足を共同で活用する。
異常判別ネットワークは、低異常度サンプルを正のサンプルとして、高異常度サンプルを負のサンプルとしてトレーニングすることができる。
- 参考スコア(独自算出の注目度): 11.739889613196619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detecting anomalies in large complex systems is a critical and challenging
task. The difficulties arise from several aspects. First, collecting ground
truth labels or prior knowledge for anomalies is hard in real-world systems,
which often lead to limited or no anomaly labels in the dataset. Second,
anomalies in large systems usually occur in a collective manner due to the
underlying dependency structure among devices or sensors. Lastly, real-time
anomaly detection for high-dimensional data requires efficient algorithms that
are capable of handling different types of data (i.e. continuous and discrete).
We propose a correlation structure-based collective anomaly detection (CSCAD)
model for high-dimensional anomaly detection problem in large systems, which is
also generalizable to semi-supervised or supervised settings. Our framework
utilize graph convolutional network combining a variational autoencoder to
jointly exploit the feature space correlation and reconstruction deficiency of
samples to perform anomaly detection. We propose an extended mutual information
(EMI) metric to mine the internal correlation structure among different data
features, which enhances the data reconstruction capability of CSCAD. The
reconstruction loss and latent standard deviation vector of a sample obtained
from reconstruction network can be perceived as two natural anomalous degree
measures. An anomaly discriminating network can then be trained using low
anomalous degree samples as positive samples, and high anomalous degree samples
as negative samples. Experimental results on five public datasets demonstrate
that our approach consistently outperforms all the competing baselines.
- Abstract(参考訳): 大規模システムにおける異常検出は、重要かつ困難な課題である。
困難はいくつかの側面から生じる。
まず、現実のシステムでは、基底の真理ラベルや事前の異常に関する知識の収集は困難であり、しばしばデータセット内の限定的または非異常なラベルにつながる。
第二に、大きなシステムにおける異常は通常、デバイスやセンサー間の依存関係構造によって集団的に発生する。
最後に、高次元データのリアルタイム異常検出には、異なる種類のデータ(例えば)を処理できる効率的なアルゴリズムが必要である。
連続的かつ離散的)。
本研究では,大規模システムにおける高次元異常検出問題に対する相関構造に基づく集団異常検出(cscad)モデルを提案する。
本フレームワークは,変分オートエンコーダを組み合わせたグラフ畳み込みネットワークを用いて,特徴空間相関とサンプルの再構成不足を併用して異常検出を行う。
本稿では,CSCADのデータ再構成能力を高めるために,データ特徴間の内部相関構造を抽出する拡張相互情報(EMI)メトリクスを提案する。
再構成ネットワークから得られたサンプルの復元損失と遅延標準偏差ベクトルは、2つの自然な異常度尺度とみなすことができる。
異常判別ネットワークは、低異常度サンプルを正サンプルとして、高異常度サンプルを負サンプルとしてトレーニングすることができる。
5つの公開データセットの実験結果は、我々のアプローチが競合するベースライン全てを一貫して上回っていることを示している。
関連論文リスト
- ARC: A Generalist Graph Anomaly Detector with In-Context Learning [62.202323209244]
ARCは汎用的なGADアプローチであり、一対一のGADモデルで様々なグラフデータセットの異常を検出することができる。
ARCはコンテキスト内学習を備えており、ターゲットデータセットからデータセット固有のパターンを直接抽出することができる。
各種領域からの複数のベンチマークデータセットに対する大規模な実験は、ARCの優れた異常検出性能、効率、一般化性を示す。
論文 参考訳(メタデータ) (2024-05-27T02:42:33Z) - MLAD: A Unified Model for Multi-system Log Anomaly Detection [35.68387377240593]
複数のシステムにまたがる意味的関係推論を組み込んだ新しい異常検出モデルMLADを提案する。
具体的には、Sentence-bertを用いてログシーケンス間の類似性を捉え、それらを高次元の学習可能な意味ベクトルに変換する。
我々は,各キーワードのシーケンスにおける意義を識別し,マルチシステムデータセットの全体分布をモデル化するために,アテンション層の公式を改訂する。
論文 参考訳(メタデータ) (2024-01-15T12:51:13Z) - Video Anomaly Detection via Spatio-Temporal Pseudo-Anomaly Generation : A Unified Approach [49.995833831087175]
本研究は,画像のマスキング領域にペンキを塗布することにより,汎用的な映像時間PAを生成する手法を提案する。
さらに,OCC設定下での現実世界の異常を検出するための単純な統合フレームワークを提案する。
提案手法は,OCC設定下での既存のPAs生成および再構築手法と同等に動作する。
論文 参考訳(メタデータ) (2023-11-27T13:14:06Z) - Are we certain it's anomalous? [57.729669157989235]
時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。
本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。
HypADは自己指導で入力信号を再構築する。
論文 参考訳(メタデータ) (2022-11-16T21:31:39Z) - Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。
次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。
我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
論文 参考訳(メタデータ) (2022-06-30T06:00:13Z) - Memory-augmented Adversarial Autoencoders for Multivariate Time-series
Anomaly Detection with Deep Reconstruction and Prediction [4.033624665609417]
本稿では,時系列の非教師付き異常検出手法であるMemAAEを提案する。
2つの補完的プロキシタスク、再構築と予測を共同でトレーニングすることにより、複数のタスクによる異常検出が優れた性能を得ることを示す。
MemAAEは4つの公開データセットで総合F1スコアの0.90を達成し、最高のベースラインである0.02を上回っている。
論文 参考訳(メタデータ) (2021-10-15T18:29:05Z) - Enhancing Unsupervised Anomaly Detection with Score-Guided Network [13.127091975959358]
異常検出は、医療や金融システムなど、さまざまな現実世界のアプリケーションにおいて重要な役割を担っている。
正規データと異常データの間の異常スコアの差を学習・拡大するために,スコア誘導正規化を用いた新しいスコアネットワークを提案する。
次に,スコア誘導型オートエンコーダ(SG-AE)を提案する。
論文 参考訳(メタデータ) (2021-09-10T06:14:53Z) - Unsupervised Learning of Multi-level Structures for Anomaly Detection [16.037822355038443]
本稿では,グローバル構造を分解して異常データを生成する新しい手法を提案する。
様々なレベルの局所的な異常構造を効果的に露呈することができる。
全てのレベル固有検出器の出力を集約することにより、すべての潜在的な異常を検知できるモデルを得る。
論文 参考訳(メタデータ) (2021-04-25T08:38:41Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳(メタデータ) (2021-02-25T14:24:49Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳(メタデータ) (2020-09-16T15:52:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。