論文の概要: Statistics and Deep Learning-based Hybrid Model for Interpretable
Anomaly Detection
- arxiv url: http://arxiv.org/abs/2202.12720v1
- Date: Fri, 25 Feb 2022 14:17:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-28 19:00:52.753016
- Title: Statistics and Deep Learning-based Hybrid Model for Interpretable
Anomaly Detection
- Title(参考訳): 解釈可能な異常検出のための統計とディープラーニングに基づくハイブリッドモデル
- Authors: Thabang Mathonsi and Terence L van Zyl
- Abstract要約: ハイブリッド手法は、予測タスクと予測タスクの両方において、純粋統計的および純粋深層学習法より優れていることが示されている。
MES-LSTMは、これらの課題を克服する解釈可能な異常検出モデルである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Hybrid methods have been shown to outperform pure statistical and pure deep
learning methods at both forecasting tasks, and at quantifying the uncertainty
associated with those forecasts (prediction intervals). One example is
Multivariate Exponential Smoothing Long Short-Term Memory (MES-LSTM), a hybrid
between a multivariate statistical forecasting model and a Recurrent Neural
Network variant, Long Short-Term Memory. It has also been shown that a model
that ($i$) produces accurate forecasts and ($ii$) is able to quantify the
associated predictive uncertainty satisfactorily, can be successfully adapted
to a model suitable for anomaly detection tasks. With the increasing ubiquity
of multivariate data and new application domains, there have been numerous
anomaly detection methods proposed in recent years. The proposed methods have
largely focused on deep learning techniques, which are prone to suffer from
challenges such as ($i$) large sets of parameters that may be computationally
intensive to tune, $(ii)$ returning too many false positives rendering the
techniques impractical for use, $(iii)$ requiring labeled datasets for training
which are often not prevalent in real life, and ($iv$) understanding of the
root causes of anomaly occurrences inhibited by the predominantly black-box
nature of deep learning methods. In this article, an extension of MES-LSTM is
presented, an interpretable anomaly detection model that overcomes these
challenges. With a focus on renewable energy generation as an application
domain, the proposed approach is benchmarked against the state-of-the-art. The
findings are that MES-LSTM anomaly detector is at least competitive to the
benchmarks at anomaly detection tasks, and less prone to learning from spurious
effects than the benchmarks, thus making it more reliable at root cause
discovery and explanation.
- Abstract(参考訳): ハイブリッド手法は、予測タスクと予測タスクの両方において純粋統計的および純粋深層学習法を上回り、それらの予測(予測間隔)に関連する不確実性を定量化することが示されている。
例として、多変量統計予測モデルとリカレントニューラルネットワークの変種であるLong Short-Term MemoryのハイブリッドであるMultivarate Exponential Smoothing Long Short-Term Memory (MES-LSTM)がある。
また、(i$)が正確な予測を生成し、(ii$)が関連する予測の不確かさを十分に定量化できるモデルが、異常検出タスクに適したモデルにうまく適応できることも示されている。
多変量データと新しいアプリケーションドメインのユビキタス化に伴い、近年、多くの異常検出手法が提案されている。
提案手法は主に深層学習技術に重点を置いており, チューンに計算集約的なパラメータセット (i$) のような課題に悩まされる傾向にある。
(ii)$ 使われないテクニックをレンダリングする偽陽性が多すぎる、$
(三)実生活においてあまり普及しない訓練のためにラベル付きデータセットを必要とすること、(四)深層学習法において主にブラックボックスの性質によって阻害される異常発生の根本原因を理解すること。
本稿では,これらの課題を克服する解釈可能な異常検出モデルであるMES-LSTMの拡張について述べる。
アプリケーション領域としての再生可能エネルギー生成に焦点を当て、提案手法は最先端技術に対してベンチマークされる。
以上の結果から,mes-lstm異常検出装置は,異常検出タスクのベンチマークと少なくとも競合しており,スプリアス効果から学ぶことが少なく,根本原因の発見や説明に信頼性が高いことが示唆された。
関連論文リスト
- MeLIAD: Interpretable Few-Shot Anomaly Detection with Metric Learning and Entropy-based Scoring [2.394081903745099]
本稿では,新たな異常検出手法であるMeLIADを提案する。
MeLIADはメートル法学習に基づいており、真の異常の事前分布仮定に頼ることなく、設計による解釈可能性を達成する。
解釈可能性の定量的かつ定性的な評価を含む5つの公開ベンチマークデータセットの実験は、MeLIADが異常検出とローカライゼーション性能の改善を達成することを実証している。
論文 参考訳(メタデータ) (2024-09-20T16:01:43Z) - A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。
擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。
その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
論文 参考訳(メタデータ) (2024-09-03T08:01:01Z) - Graph Spatiotemporal Process for Multivariate Time Series Anomaly
Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。
実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文 参考訳(メタデータ) (2024-01-11T10:10:16Z) - Convergence of uncertainty estimates in Ensemble and Bayesian sparse
model discovery [4.446017969073817]
ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。
このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
論文 参考訳(メタデータ) (2023-01-30T04:07:59Z) - Bayesian Bilinear Neural Network for Predicting the Mid-price Dynamics
in Limit-Order Book Markets [84.90242084523565]
伝統的な時系列計量法は、価格力学を駆動する多層相互作用の真の複雑さを捉えることができないことが多い。
最先端の2次最適化アルゴリズムを採用することで、時間的注意を払ってベイジアン双線形ニューラルネットワークを訓練する。
予測分布を用いて推定パラメータとモデル予測に関連する誤差や不確実性を解析することにより、ベイズモデルと従来のML代替品を徹底的に比較する。
論文 参考訳(メタデータ) (2022-03-07T18:59:54Z) - Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。
提案手法の有効性を検証し,数値実験による理論的研究を検証する。
論文 参考訳(メタデータ) (2022-01-26T22:26:01Z) - A Statistics and Deep Learning Hybrid Method for Multivariate Time
Series Forecasting and Mortality Modeling [0.0]
Exponential Smoothing Recurrent Neural Network (ES-RNN)は、統計予測モデルとリカレントニューラルネットワークのハイブリッドである。
ES-RNNはMakridakis-4 Forecasting Competitionで絶対誤差を9.4%改善した。
論文 参考訳(メタデータ) (2021-12-16T04:44:19Z) - Multivariate Anomaly Detection based on Prediction Intervals Constructed
using Deep Learning [0.0]
提案手法は,よく確立された統計モデルに対するものである。
我々は3つのディープラーニングアーキテクチャ、すなわちカスケードニューラルネットワーク、貯水池コンピューティング、長期記憶のリカレントニューラルネットワークに焦点を当てている。
論文 参考訳(メタデータ) (2021-10-07T12:34:31Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳(メタデータ) (2021-08-01T14:33:17Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳(メタデータ) (2020-09-16T15:52:04Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳(メタデータ) (2020-03-10T09:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。