論文の概要: A Hybrid Framework for Real-Time Data Drift and Anomaly Identification Using Hierarchical Temporal Memory and Statistical Tests

• arxiv url: http://arxiv.org/abs/2504.18599v1
• Date: Thu, 24 Apr 2025 18:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.907413
• Title: A Hybrid Framework for Real-Time Data Drift and Anomaly Identification Using Hierarchical Temporal Memory and Statistical Tests
• Title（参考訳）: 階層的時間記憶と統計的テストを用いたリアルタイムデータドリフトと異常同定のためのハイブリッドフレームワーク
• Authors: Subhadip Bandyopadhyay, Joy Bose, Sujoy Roy Chowdhury,
• Abstract要約: 本稿では,階層型テンポラルメモリ(HTM)と逐次確率比テスト(SPRT)を組み合わせた,リアルタイムデータドリフト検出と異常同定のためのハイブリッドフレームワークを提案する。 実験により,提案手法は,KS試験,ワッサーシュタイン距離,人口安定度指数(PSI)などの従来のドリフト検出手法よりも精度,適応性,計算効率の点で優れていた。
• 参考スコア（独自算出の注目度）: 14.37149160708975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data Drift is the phenomenon where the generating model behind the data changes over time. Due to data drift, any model built on the past training data becomes less relevant and inaccurate over time. Thus, detecting and controlling for data drift is critical in machine learning models. Hierarchical Temporal Memory (HTM) is a machine learning model developed by Jeff Hawkins, inspired by how the human brain processes information. It is a biologically inspired model of memory that is similar in structure to the neocortex, and whose performance is claimed to be comparable to state of the art models in detecting anomalies in time series data. Another unique benefit of HTMs is its independence from training and testing cycle; all the learning takes place online with streaming data and no separate training and testing cycle is required. In sequential learning paradigm, Sequential Probability Ratio Test (SPRT) offers some unique benefit for online learning and inference. This paper proposes a novel hybrid framework combining HTM and SPRT for real-time data drift detection and anomaly identification. Unlike existing data drift methods, our approach eliminates frequent retraining and ensures low false positive rates. HTMs currently work with one dimensional or univariate data. In a second study, we also propose an application of HTM in multidimensional supervised scenario for anomaly detection by combining the outputs of multiple HTM columns, one for each dimension of the data, through a neural network. Experimental evaluations demonstrate that the proposed method outperforms conventional drift detection techniques like the Kolmogorov-Smirnov (KS) test, Wasserstein distance, and Population Stability Index (PSI) in terms of accuracy, adaptability, and computational efficiency. Our experiments also provide insights into optimizing hyperparameters for real-time deployment in domains such as Telecom.
• Abstract（参考訳）: データドリフトは、データの背後にある生成モデルが時間とともに変化する現象である。 データドリフトによって、過去のトレーニングデータ上に構築されたモデルは、関連性が少なくなり、時間が経つにつれて不正確になる。 したがって、機械学習モデルではデータドリフトの検出と制御が重要となる。 階層的時間記憶(Hierarchical Temporal Memory, HTM)は、Jeff Hawkins氏が開発した機械学習モデルである。 生物学的にインスパイアされたメモリモデルであり、構造的にはネオコルテックスに似ており、その性能は時系列データ中の異常を検出する最先端モデルに匹敵するとされる。 HTMのもうひとつのユニークなメリットは、トレーニングとテストのサイクルから独立していることだ。 シーケンシャルな学習パラダイムでは、逐次確率比テスト(SPRT)はオンライン学習と推論に特有の利点を提供する。 本稿では,リアルタイムデータドリフト検出と異常同定のためのHTMとSPRTを組み合わせた新しいハイブリッドフレームワークを提案する。 既存のデータドリフト法とは異なり、本手法は頻繁な再トレーニングを排除し、偽陽性率を低くする。 現在、HTMは1次元または1次元のデータを扱う。 第2の研究では,複数のHTM列の出力をニューラルネットワークで結合することにより,多次元教師付きシナリオへのHTMの適用を提案する。 実験により,提案手法は,KS試験,ワッサーシュタイン距離,人口安定度指数(PSI)などの従来のドリフト検出手法よりも精度,適応性,計算効率の点で優れていた。 我々の実験は、Telecomのようなドメインにおけるリアルタイムデプロイメントのためのハイパーパラメータの最適化に関する洞察も提供する。

関連論文リスト

• Sparse identification of nonlinear dynamics and Koopman operators with Shallow Recurrent Decoder Networks [3.1484174280822845]
  本稿では, 簡易な実装, 効率的, 堅牢な性能で, センサとモデル識別の問題を共同で解決する手法を提案する。 SINDy-SHREDはGated Recurrent Unitsを使用してスパースセンサー計測と浅いネットワークデコーダをモデル化し、潜在状態空間からフルタイムフィールドを再構築する。 本研究では, 乱流, 海面温度の実環境センサ計測, 直接ビデオデータなどのPDEデータに関する系統的研究を行った。
  論文  参考訳（メタデータ） (2025-01-23T02:18:13Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• An Automated Machine Learning Approach for Detecting Anomalous Peak Patterns in Time Series Data from a Research Watershed in the Northeastern United States Critical Zone [3.1747517745997014]
  本稿では,米国北東部臨界水域におけるセンサによる時系列データの異常検出を支援する機械学習フレームワークを提案する。 このフレームワークは特に、センサーの故障や自然現象から生じるピークパターンの異常を識別することに焦点を当てている。
  論文  参考訳（メタデータ） (2023-09-14T19:07:50Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Identifying nonlinear dynamical systems from multi-modal time series data [3.721528851694675]
  物理学、生物学、医学における経験的に観察された時系列は、一般的に、基礎となる力学系(DS)によって生成される。 完全にデータ駆動で教師なしの方法で、この潜伏するDSを再構築するための機械学習手法の収集への関心が高まっている。 本稿では,非線形DS識別とクロスモーダル予測を目的としたマルチモーダルデータ統合のための汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-04T14:59:28Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Computer Model Calibration with Time Series Data using Deep Learning and Quantile Regression [1.6758573326215689]
  既存の標準校正フレームワークは、モデル出力と観測データが高次元依存データである場合、推論の問題に悩まされる。 モデル出力と入力パラメータの逆関係を直接エミュレートする長期記憶層を持つディープニューラルネットワーク(DNN)に基づく新しいキャリブレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-29T22:18:41Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。