論文の概要: Multiple-Input Variational Auto-Encoder for Anomaly Detection in Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2501.08149v1
- Date: Tue, 14 Jan 2025 14:25:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-15 13:27:46.335147
- Title: Multiple-Input Variational Auto-Encoder for Anomaly Detection in Heterogeneous Data
- Title(参考訳): 異種データの異常検出のための多入力変分自動エンコーダ
- Authors: Phai Vu Dinh, Diep N. Nguyen, Dinh Thai Hoang, Quang Uy Nguyen, Eryk Dutkiewicz,
- Abstract要約: 異常検出は、分類におけるAIアプリケーション、サイバーセキュリティにおける侵入/脅威検出などにおいて重要な役割を果たす。
本稿では,この問題に対処するために,Multiple-Input Auto-Encoder for AD (MIAEAD) と呼ばれる新しいニューラルネットワークモデルを提案する。
MIAEADは、異常である可能性を示すために、データサンプルの各特徴サブセットに異常スコアを割り当てる。
すべてのサブエンコーダは同時に教師なし学習を用いて訓練され、特徴部分集合の異常スコアを決定する。
- 参考スコア(独自算出の注目度): 31.732566841690907
- License:
- Abstract: Anomaly detection (AD) plays a pivotal role in AI applications, e.g., in classification, and intrusion/threat detection in cybersecurity. However, most existing methods face challenges of heterogeneity amongst feature subsets posed by non-independent and identically distributed (non-IID) data. We propose a novel neural network model called Multiple-Input Auto-Encoder for AD (MIAEAD) to address this. MIAEAD assigns an anomaly score to each feature subset of a data sample to indicate its likelihood of being an anomaly. This is done by using the reconstruction error of its sub-encoder as the anomaly score. All sub-encoders are then simultaneously trained using unsupervised learning to determine the anomaly scores of feature subsets. The final AUC of MIAEAD is calculated for each sub-dataset, and the maximum AUC obtained among the sub-datasets is selected. To leverage the modelling of the distribution of normal data to identify anomalies of the generative models, we develop a novel neural network architecture/model called Multiple-Input Variational Auto-Encoder (MIVAE). MIVAE can process feature subsets through its sub-encoders before learning distribution of normal data in the latent space. This allows MIVAE to identify anomalies that deviate from the learned distribution. We theoretically prove that the difference in the average anomaly score between normal samples and anomalies obtained by the proposed MIVAE is greater than that of the Variational Auto-Encoder (VAEAD), resulting in a higher AUC for MIVAE. Extensive experiments on eight real-world anomaly datasets demonstrate the superior performance of MIAEAD and MIVAE over conventional methods and the state-of-the-art unsupervised models, by up to 6% in terms of AUC score. Alternatively, MIAEAD and MIVAE have a high AUC when applied to feature subsets with low heterogeneity based on the coefficient of variation (CV) score.
- Abstract(参考訳): 異常検出(AD)は、分類におけるAIアプリケーション、サイバーセキュリティにおける侵入/脅威検出において重要な役割を果たす。
しかし、既存の手法の多くは、非独立で同一に分散した(非IID)データによって生じる特徴部分集合間の不均一性の課題に直面している。
本稿では,この問題に対処するために,Multiple-Input Auto-Encoder for AD (MIAEAD) と呼ばれる新しいニューラルネットワークモデルを提案する。
MIAEADは、異常である可能性を示すために、データサンプルの各特徴サブセットに異常スコアを割り当てる。
これは、サブエンコーダの再構成誤差を異常スコアとする。
すべてのサブエンコーダは同時に教師なし学習を用いて訓練され、特徴部分集合の異常スコアを決定する。
サブデータセット毎にMIAEADの最終AUCを算出し、サブデータセット間で得られた最大AUCを選択する。
生成モデルの異常を識別するために,正規データの分布のモデル化を活用するために,Multiple-Input Variational Auto-Encoder (MIVAE) と呼ばれる新しいニューラルネットワークアーキテクチャ/モデルを開発した。
MIVAEは、潜在空間における正規データの分布を学習する前に、サブエンコーダを通じて特徴部分集合を処理することができる。
これにより、MIVAEは学習された分布から逸脱する異常を識別できる。
提案したMIVAEの異常値の平均値と異常値の平均値との差がVAEADよりも大きいことが理論的に証明された。
8つの実世界の異常データセットに対する大規模な実験は、従来の手法や最先端の教師なしモデルよりも、MIAEADとMIVAEの優れた性能をAUCスコアで最大6%向上することを示した。
あるいは、MIAEADとMIVAEは、変動係数(CV)スコアに基づく不均一性の低い特徴部分集合に適用した場合、高いAUCを有する。
関連論文リスト
- Improved Anomaly Detection through Conditional Latent Space VAE Ensembles [49.1574468325115]
条件付きラテント空間変分オートエンコーダ(CL-VAE)は、既知の不整形クラスと未知の不整形クラスを持つデータに対する異常検出のための前処理を改善した。
モデルでは異常検出の精度が向上し、MNISTデータセットで97.4%のAUCが達成された。
さらに、CL-VAEは、アンサンブルの利点、より解釈可能な潜在空間、モデルサイズに制限のある複雑なデータでパターンを学習する能力の増大を示す。
論文 参考訳(メタデータ) (2024-10-16T07:48:53Z) - Fine-grained Abnormality Prompt Learning for Zero-shot Anomaly Detection [88.34095233600719]
FAPromptは、より正確なZSADのためにきめ細かい異常プロンプトを学習するために設計された新しいフレームワークである。
画像レベルおよび画素レベルのZSADタスクにおいて、最先端の手法を少なくとも3%-5%のAUC/APで大幅に上回っている。
論文 参考訳(メタデータ) (2024-10-14T08:41:31Z) - MeLIAD: Interpretable Few-Shot Anomaly Detection with Metric Learning and Entropy-based Scoring [2.394081903745099]
本稿では,新たな異常検出手法であるMeLIADを提案する。
MeLIADはメートル法学習に基づいており、真の異常の事前分布仮定に頼ることなく、設計による解釈可能性を達成する。
解釈可能性の定量的かつ定性的な評価を含む5つの公開ベンチマークデータセットの実験は、MeLIADが異常検出とローカライゼーション性能の改善を達成することを実証している。
論文 参考訳(メタデータ) (2024-09-20T16:01:43Z) - MAPL: Memory Augmentation and Pseudo-Labeling for Semi-Supervised Anomaly Detection [0.0]
メモリ拡張(Memory Augmentation)と擬似ラベル(Pseudo-Labeling, MAPL)と呼ばれる, 産業環境における表面欠陥検出のための新しいメソドロジーを導入する。
この手法は、まず異常シミュレーション戦略を導入し、希少または未知の異常型を認識するモデルの能力を著しく改善する。
入力データから直接異常領域を識別するために、MAPLによってエンドツーエンドの学習フレームワークが使用される。
論文 参考訳(メタデータ) (2024-05-10T02:26:35Z) - AnomalyDiffusion: Few-Shot Anomaly Image Generation with Diffusion Model [59.08735812631131]
製造業において異常検査が重要な役割を担っている。
既存の異常検査手法は、異常データが不足しているため、その性能に制限がある。
本稿では,新しい拡散型マイクロショット異常生成モデルであるAnomalyDiffusionを提案する。
論文 参考訳(メタデータ) (2023-12-10T05:13:40Z) - LafitE: Latent Diffusion Model with Feature Editing for Unsupervised
Multi-class Anomaly Detection [12.596635603629725]
我々は,通常のデータのみにアクセス可能な場合に,複数のクラスに属するオブジェクトから異常を検出する統一モデルを開発した。
まず、生成的アプローチについて検討し、再構成のための潜伏拡散モデルについて検討する。
「拡散モデルの入力特徴空間を修正し、アイデンティティショートカットをさらに緩和する特徴編集戦略を導入する。」
論文 参考訳(メタデータ) (2023-07-16T14:41:22Z) - Anomaly Detection with Score Distribution Discrimination [4.468952886990851]
本稿では,スコア分布の観点から,異常スコア関数の最適化を提案する。
正常試料と異常試料のスコア分布の重なりを最小化するオーバーラップ損失と呼ばれる新しい損失関数を設計する。
論文 参考訳(メタデータ) (2023-06-26T03:32:57Z) - Are we certain it's anomalous? [57.729669157989235]
時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。
本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。
HypADは自己指導で入力信号を再構築する。
論文 参考訳(メタデータ) (2022-11-16T21:31:39Z) - DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly
detection in air transportation [68.8204255655161]
識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。
通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。
その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
論文 参考訳(メタデータ) (2021-09-08T14:07:55Z) - DASVDD: Deep Autoencoding Support Vector Data Descriptor for Anomaly
Detection [9.19194451963411]
半教師付き異常検出は、通常のデータに基づいて訓練されたモデルを用いて、通常のサンプルから異常を検出することを目的としている。
本稿では,自己エンコーダのパラメータを協調的に学習する手法であるDASVDDを提案する。
論文 参考訳(メタデータ) (2021-06-09T21:57:41Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2020-03-24T08:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。