論文の概要: Unsupervised Online Anomaly Detection On Irregularly Sampled Or Missing
Valued Time-Series Data Using LSTM Networks
- arxiv url: http://arxiv.org/abs/2005.12005v1
- Date: Mon, 25 May 2020 09:41:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 05:20:27.870417
- Title: Unsupervised Online Anomaly Detection On Irregularly Sampled Or Missing
Valued Time-Series Data Using LSTM Networks
- Title(参考訳): LSTMネットワークを用いた不規則サンプリング・誤り時系列データの教師なしオンライン異常検出
- Authors: Oguzhan Karaahmetoglu (1 and 2), Fatih Ilhan (1 and 2), Ismail Balaban
(2), Suleyman Serdar Kozat (1 and 2) ((1) Bilkent University, (2) DataBoss
A.S.)
- Abstract要約: 異常検出について検討し,変長,不規則なサンプルシーケンス,あるいは欠落した値を含むシーケンスを処理するアルゴリズムを提案する。
しかし,本アルゴリズムは完全に教師なしであり,教師付きあるいは半教師付きケースに容易に拡張できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study anomaly detection and introduce an algorithm that processes variable
length, irregularly sampled sequences or sequences with missing values. Our
algorithm is fully unsupervised, however, can be readily extended to supervised
or semisupervised cases when the anomaly labels are present as remarked
throughout the paper. Our approach uses the Long Short Term Memory (LSTM)
networks in order to extract temporal features and find the most relevant
feature vectors for anomaly detection. We incorporate the sampling time
information to our model by modulating the standard LSTM model with time
modulation gates. After obtaining the most relevant features from the LSTM, we
label the sequences using a Support Vector Data Descriptor (SVDD) model. We
introduce a loss function and then jointly optimize the feature extraction and
sequence processing mechanisms in an end-to-end manner. Through this joint
optimization, the LSTM extracts the most relevant features for anomaly
detection later to be used in the SVDD, hence completely removes the need for
feature selection by expert knowledge. Furthermore, we provide a training
algorithm for the online setup, where we optimize our model parameters with
individual sequences as the new data arrives. Finally, on real-life datasets,
we show that our model significantly outperforms the standard approaches thanks
to its combination of LSTM with SVDD and joint optimization.
- Abstract(参考訳): 異常検出について検討し,変長,不規則なサンプルシーケンス,あるいは欠落値を含むシーケンスを処理するアルゴリズムを提案する。
しかし,本アルゴリズムは完全に教師なしであり,論文全体に異常ラベルが存在する場合,教師ありあるいは半教師ありの場合に容易に拡張することができる。
本手法では,時間的特徴を抽出し,異常検出のための最も関連性の高い特徴ベクトルを見つけるために,Long Short Term Memory (LSTM) ネットワークを用いる。
我々は,標準lstmモデルを時間変調ゲートで変調することにより,サンプリング時間情報をモデルに組み込む。
LSTMから最も関連性の高い特徴を得た後、Support Vector Data Descriptor(SVDD)モデルを用いてシーケンスをラベル付けする。
損失関数を導入し,特徴抽出機構とシーケンス処理機構をエンドツーエンドで協調的に最適化する。
この共同最適化により、LSTMは後にSVDDで使用される異常検出の最も関連性の高い特徴を抽出し、専門家による特徴選択の必要性を完全に排除する。
さらに、オンライン設定のためのトレーニングアルゴリズムを提供し、新しいデータが到着すると、個々のシーケンスでモデルパラメータを最適化します。
最後に,実生活データセットにおいて,本モデルがlstmとsvddの組み合わせと協調最適化により,標準アプローチを著しく上回っていることを示す。
関連論文リスト
- Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。
本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
論文 参考訳(メタデータ) (2024-06-24T04:17:03Z) - Improved AutoEncoder with LSTM module and KL divergence [3.1168862003127797]
本稿では,LSTMモジュールとKullback-Leibler divergence(IAE-LSTM-KL)モデルを用いた改良オートエンコーダを提案する。
IAE-LSTM-KLモデルの有効性は、合成データセットと実世界のデータセットの両方で実験によって検証される。
論文 参考訳(メタデータ) (2024-04-30T04:11:21Z) - Spatial-temporal Memories Enhanced Graph Autoencoder for Anomaly Detection in Dynamic Graphs [52.956235109354175]
動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。
空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。
STRIPEは、動的グラフの異なる空間的・時間的ダイナミクスを効果的に活用することにより、異常を識別する優れた能力を示した。
論文 参考訳(メタデータ) (2024-03-14T02:26:10Z) - Low-Rank Representations Meets Deep Unfolding: A Generalized and
Interpretable Network for Hyperspectral Anomaly Detection [41.50904949744355]
現在のハイパースペクトル異常検出(HAD)ベンチマークデータセットは、低解像度、単純なバックグラウンド、検出データの小さなサイズに悩まされている。
これらの要因は、ロバスト性の観点からよく知られた低ランク表現(LRR)モデルの性能も制限する。
我々は、複雑なシナリオにおけるHADアルゴリズムの堅牢性を改善するために、新しいHADベンチマークデータセットであるAIR-HADを構築した。
論文 参考訳(メタデータ) (2024-02-23T14:15:58Z) - Embedded feature selection in LSTM networks with multi-objective
evolutionary ensemble learning for time series forecasting [49.1574468325115]
本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。
本手法はLSTMの重みと偏りを分割的に最適化する。
イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
論文 参考訳(メタデータ) (2023-12-29T08:42:10Z) - Modelling Irregularly Sampled Time Series Without Imputation [44.79338100842851]
不規則サンプリング時系列(ISTS)のモデル化は、値の欠如により困難である。
既存のほとんどのメソッドは、不規則にサンプリングされたデータをインプットによって定期的にサンプリングされたデータに変換することで、ISTSの処理に重点を置いている。
我々は,LSTMのセットを用いてISTSを計算せずにモデル化し,基礎となるプロセスの仮定を排除したSLANを提案する。
論文 参考訳(メタデータ) (2023-09-15T18:43:41Z) - A Bi-LSTM Autoencoder Framework for Anomaly Detection -- A Case Study of
a Wind Power Dataset [2.094022863940315]
異常(英: Anomalies)とは、通常および同質の事象から逸脱するデータポイントまたはイベントを指す。
本研究では,Bi-LSTMアーキテクチャとAutoencoderを組み合わせた時系列異常検出フレームワークを提案する。
Bi-LSTM Autoencoderモデルは96.79%の分類精度を達成し、より一般的なLSTM Autoencoderモデルよりも優れていた。
論文 参考訳(メタデータ) (2023-03-17T00:24:28Z) - Imputing Missing Observations with Time Sliced Synthetic Minority
Oversampling Technique [0.3973560285628012]
本稿では,データセット内の各サンプルに対して均一な不規則な時系列を構成することを目的とした,単純かつ斬新な時系列計算手法を提案する。
我々は、観測時間の重複しないビン(「スライス」と呼ばれる)の中間点で定義される格子を固定し、各サンプルが所定の時間にすべての特徴に対して値を持つことを保証する。
これにより、完全に欠落した観察をインプットし、データ全体の時系列の均一な分類を可能にし、特別な場合には個々の欠落した特徴をインプットすることができる。
論文 参考訳(メタデータ) (2022-01-14T19:23:24Z) - Adaptive Memory Networks with Self-supervised Learning for Unsupervised
Anomaly Detection [54.76993389109327]
教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。
本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。
AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
論文 参考訳(メタデータ) (2022-01-03T03:40:21Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2020-04-15T06:13:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。