論文の概要: SDOoop: Capturing Periodical Patterns and Out-of-phase Anomalies in Streaming Data Analysis
- arxiv url: http://arxiv.org/abs/2409.02973v1
- Date: Wed, 4 Sep 2024 12:10:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 01:16:35.440360
- Title: SDOoop: Capturing Periodical Patterns and Out-of-phase Anomalies in Streaming Data Analysis
- Title(参考訳): SDOoop: ストリーミングデータ解析における周期パターンと相外異常のキャプチャ
- Authors: Alexander Hartl, Félix Iglesias Vázquez, Tanja Zseby,
- Abstract要約: 本稿では、SDOのストリーミングバージョンを拡張して、データ構造の時間的情報を保持するSDOoopを提案する。
SDOoopは、従来のアルゴリズムでは検出できないコンテキスト異常を特定し、データジオメトリ、クラスタ、時間パターンの検査を可能にする。
我々は,侵入検出や自然科学領域のデータを用いてSDOoopを評価し,最先端の手法と同等あるいは優れている性能を得た。
- 参考スコア(独自算出の注目度): 45.79830400562905
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Streaming data analysis is increasingly required in applications, e.g., IoT, cybersecurity, robotics, mechatronics or cyber-physical systems. Despite its relevance, it is still an emerging field with open challenges. SDO is a recent anomaly detection method designed to meet requirements of speed, interpretability and intuitive parameterization. In this work, we present SDOoop, which extends the capabilities of SDO's streaming version to retain temporal information of data structures. SDOoop spots contextual anomalies undetectable by traditional algorithms, while enabling the inspection of data geometries, clusters and temporal patterns. We used SDOoop to model real network communications in critical infrastructures and extract patterns that disclose their dynamics. Moreover, we evaluated SDOoop with data from intrusion detection and natural science domains and obtained performances equivalent or superior to state-of-the-art approaches. Our results show the high potential of new model-based methods to analyze and explain streaming data. Since SDOoop operates with constant per-sample space and time complexity, it is ideal for big data, being able to instantly process large volumes of information. SDOoop conforms to next-generation machine learning, which, in addition to accuracy and speed, is expected to provide highly interpretable and informative models.
- Abstract(参考訳): ストリーミングデータ分析は、IoT、サイバーセキュリティ、ロボティクス、メカトロニクス、サイバー物理システムといったアプリケーションでますます必要とされている。
関連性はあるものの、オープンな課題を抱える新興分野である。
SDOは、速度、解釈可能性、直感的なパラメータ化の要件を満たすために設計された最近の異常検出手法である。
本研究では、SDOのストリーミングバージョンを拡張して、データ構造の時間的情報を保持するSDOoopを提案する。
SDOoopは、従来のアルゴリズムでは検出できないコンテキスト異常を特定し、データジオメトリ、クラスタ、時間パターンの検査を可能にする。
我々はSDOoopを使って、重要なインフラにおける実際のネットワーク通信をモデル化し、それらのダイナミクスを明らかにするパターンを抽出した。
さらに, 侵入検知や自然科学領域のデータを用いてSDOoopを評価し, 最先端手法に匹敵する性能を得た。
この結果から,ストリーミングデータの解析と解析を行う新たなモデルベース手法の可能性が示唆された。
SDOoopはサンプル単位の空間と時間的複雑さで動作するため、ビッグデータには理想的であり、大量の情報を即座に処理できる。
SDOoopは、精度とスピードに加えて、高度に解釈可能な情報モデルを提供すると期待されている、次世代機械学習に準拠している。
関連論文リスト
- Data-Augmented Predictive Deep Neural Network: Enhancing the extrapolation capabilities of non-intrusive surrogate models [0.5735035463793009]
本稿では、カーネル動的モード分解(KDMD)を用いて、畳み込みオートエンコーダ(CAE)のエンコーダ部が生成する潜伏空間のダイナミクスを進化させる新しいディープラーニングフレームワークを提案する。
KDMD-decoder-extrapolated dataを元のデータセットに追加した後、この拡張データを用いてフィードフォワードディープニューラルネットワークと共にCAEをトレーニングする。
トレーニングされたネットワークは、トレーニング外のパラメータサンプルでトレーニング時間間隔外の将来の状態を予測できる。
論文 参考訳(メタデータ) (2024-10-17T09:26:14Z) - KODA: A Data-Driven Recursive Model for Time Series Forecasting and Data Assimilation using Koopman Operators [14.429071321401953]
非線形力学系における予測とデータ同化を統合したクープマン演算子に基づく手法を提案する。
特に、Fourierドメインフィルタを使用してデータを物理的コンポーネントに切り離し、そのダイナミクスはクープマン演算子によって正確に表現できる。
複数の時系列ベンチマークにおいて,KODAが既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-09-29T02:25:48Z) - A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
C$2$TSDという条件拡散フレームワークを導入する。
実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
論文 参考訳(メタデータ) (2024-02-18T11:59:04Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Neural Koopman prior for data assimilation [7.875955593012905]
ニューラルネットワークアーキテクチャを使って、潜在空間に動的システムを埋め込む。
本研究では,このようなモデルを長期の継続的再構築のために訓練する手法を提案する。
また,変動データ同化手法の先行として,訓練された動的モデルの有望な利用を示すとともに,自己教師型学習の可能性も示された。
論文 参考訳(メタデータ) (2023-09-11T09:04:36Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳(メタデータ) (2021-11-03T03:50:48Z) - Spatiotemporal convolutional network for time-series prediction and
causal inference [21.895413699349966]
時系列のマルチステップ予測を効率的に正確にレンダリングするために、ニューラルネットワークコンピューティングフレームワークi.N.N.を開発した。
このフレームワークは、人工知能(AI)や機械学習分野の実践的応用において大きな可能性を秘めている。
論文 参考訳(メタデータ) (2021-07-03T06:20:43Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳(メタデータ) (2021-01-12T20:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。