論文の概要: DeepHYDRA: Resource-Efficient Time-Series Anomaly Detection in Dynamically-Configured Systems

• arxiv url: http://arxiv.org/abs/2405.07749v1
• Date: Mon, 13 May 2024 13:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 13:35:36.244697
• Title: DeepHYDRA: Resource-Efficient Time-Series Anomaly Detection in Dynamically-Configured Systems
• Title（参考訳）: DeepHYDRA:動的システムにおける資源効率の良い時系列異常検出
• Authors: Franz Kevin Stehle, Wainer Vandelli, Giuseppe Avolio, Felix Zahn, Holger Fröning,
• Abstract要約: 我々はDeepHYDRA(Deep Hybrid DBSCAN/reduction-based Anomaly Detection)を提案する。 DBSCANと学習ベースの異常検出を組み合わせる。 大規模なデータセットと複雑なデータセットの両方において、異なるタイプの異常を確実に検出できることが示されている。
• 参考スコア（独自算出の注目度）: 3.44012349879073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anomaly detection in distributed systems such as High-Performance Computing (HPC) clusters is vital for early fault detection, performance optimisation, security monitoring, reliability in general but also operational insights. Deep Neural Networks have seen successful use in detecting long-term anomalies in multidimensional data, originating for instance from industrial or medical systems, or weather prediction. A downside of such methods is that they require a static input size, or lose data through cropping, sampling, or other dimensionality reduction methods, making deployment on systems with variability on monitored data channels, such as computing clusters difficult. To address these problems, we present DeepHYDRA (Deep Hybrid DBSCAN/Reduction-Based Anomaly Detection) which combines DBSCAN and learning-based anomaly detection. DBSCAN clustering is used to find point anomalies in time-series data, mitigating the risk of missing outliers through loss of information when reducing input data to a fixed number of channels. A deep learning-based time-series anomaly detection method is then applied to the reduced data in order to identify long-term outliers. This hybrid approach reduces the chances of missing anomalies that might be made indistinguishable from normal data by the reduction process, and likewise enables the algorithm to be scalable and tolerate partial system failures while retaining its detection capabilities. Using a subset of the well-known SMD dataset family, a modified variant of the Eclipse dataset, as well as an in-house dataset with a large variability in active data channels, made publicly available with this work, we furthermore analyse computational intensity, memory footprint, and activation counts. DeepHYDRA is shown to reliably detect different types of anomalies in both large and complex datasets.
• Abstract（参考訳）: HPC(High-Performance Computing)クラスタのような分散システムにおける異常検出は、早期故障検出、パフォーマンス最適化、セキュリティ監視、全般的な信頼性、運用上の洞察に不可欠である。 ディープニューラルネットワークは、多次元データにおける長期的異常の検出に成功している。 このような方法の欠点は、静的な入力サイズを必要としたり、トリミング、サンプリング、その他の次元削減手法を通じてデータを失うことであり、コンピューティングクラスタのような監視されたデータチャネルに可変性を持つシステムへのデプロイが困難である。 これらの問題に対処するために,DBSCANと学習に基づく異常検出を組み合わせたDeepHYDRA(Deep Hybrid DBSCAN/reduction-based Anomaly Detection)を提案する。 DBSCANクラスタリングは、時系列データにおけるポイント異常を見つけるために使用され、入力データを一定数のチャネルに還元する際の情報損失による欠落率のリスクを軽減する。 次に, 深層学習に基づく時系列異常検出手法を適用し, 長期外れ値の同定を行う。 このハイブリッドアプローチは、削減プロセスによって通常のデータと区別不能になる可能性のある異常を減らし、同様にアルゴリズムをスケーラブルにし、検出能力を保ちながら部分的なシステム障害を許容することを可能にする。 Eclipseデータセットの修正版である有名なSMDデータセットファミリーのサブセットと、アクティブなデータチャネルに大きなばらつきを持つ社内データセットを使用して、この研究で公開され、さらに計算強度、メモリフットプリント、アクティベーション数を分析した。 DeepHYDRAは、大きなデータセットと複雑なデータセットの両方において、異なるタイプの異常を確実に検出する。

関連論文リスト

• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• A Robust and Explainable Data-Driven Anomaly Detection Approach For Power Electronics [56.86150790999639]
  本稿では,2つの異常検出・分類手法,すなわち行列プロファイルアルゴリズムと異常変換器を提案する。 行列プロファイルアルゴリズムは、ストリーミング時系列データにおけるリアルタイム異常を検出するための一般化可能なアプローチとして適している。 検知器の感度、リコール、検出精度を調整するために、一連のカスタムフィルタが作成され、追加される。
  論文  参考訳（メタデータ） (2022-09-23T06:09:35Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Unsupervised Deep Anomaly Detection for Multi-Sensor Time-Series Signals [10.866594993485226]
  本稿では,Deep Convolutional Autoencoding Memory Network (CAE-M) という,ディープラーニングに基づく新しい異常検出アルゴリズムを提案する。 我々はまず,最大平均離散値(MMD)を用いたマルチセンサデータの空間依存性を特徴付けるディープ畳み込みオートエンコーダを構築する。 そして,線形(自己回帰モデル)と非線形予測(注意を伴う大規模LSTM)からなるメモリネットワークを構築し,時系列データから時間依存性を捉える。
  論文  参考訳（メタデータ） (2021-07-27T06:48:20Z)
• Graph Neural Network-Based Anomaly Detection in Multivariate Time Series [17.414474298706416]
  我々は,高次元時系列データにおける異常を検出する新しい方法を開発した。 我々のアプローチは、構造学習アプローチとグラフニューラルネットワークを組み合わせている。 本研究では,本手法がベースラインアプローチよりも高精度に異常を検出することを示す。
  論文  参考訳（メタデータ） (2021-06-13T09:07:30Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)
• Data Anomaly Detection for Structural Health Monitoring of Bridges using Shapelet Transform [0.0]
  多くの構造健康モニタリング(SHM)システムが、土木インフラを監視するために配備されている。 SHMシステムによって測定されたデータは、故障または故障したセンサーによって引き起こされる複数の異常によって影響を受ける傾向にある。 本稿では,SHMデータの異常を自律的に識別するために,Shapelet Transformという比較的新しい時系列表現を提案する。
  論文  参考訳（メタデータ） (2020-08-31T01:11:04Z)
• Anomaly Detection using Deep Autoencoders for in-situ Wastewater Systems Monitoring Data [0.0]
  本稿では, 深部自動エンコーダを用いた廃棄物システム監視データの異常検出手法を提案する。 そして、復号ステージの復元誤差に基づいて異常検出を行う。
  論文  参考訳（メタデータ） (2020-02-07T09:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。