論文の概要: Neural Network-based CUSUM for Online Change-point Detection
- arxiv url: http://arxiv.org/abs/2210.17312v5
- Date: Tue, 30 May 2023 03:30:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 02:26:44.561970
- Title: Neural Network-based CUSUM for Online Change-point Detection
- Title(参考訳): オンライン変化点検出のためのニューラルネットワークCUSUM
- Authors: Junghwan Lee, Tingnan Gong, Xiuyuan Cheng, Yao Xie
- Abstract要約: オンライン変更点検出のためのニューラルネットワークCUSUM(NN-CUSUM)を提案する。
トレーニングされたニューラルネットワークが変化点検出を行うことができる場合の一般的な理論的条件を示す。
NN-CUSUMの強い性能は、高次元データにおける変化点の検出において実証される。
- 参考スコア(独自算出の注目度): 14.855107335858127
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Change-point detection, detecting an abrupt change in the data distribution
from sequential data, is a fundamental problem in statistics and machine
learning. CUSUM is a popular statistical method for online change-point
detection due to its efficiency from recursive computation and constant memory
requirement, and it enjoys statistical optimality. CUSUM requires knowing the
precise pre- and post-change distribution. However, post-change distribution is
usually unknown a priori since it represents anomaly and novelty. When there is
a model mismatch with actual data, classic CUSUM can perform poorly. While
likelihood ratio-based methods encounter challenges in high dimensions, neural
networks have become an emerging tool for change-point detection with
computational efficiency and scalability. In this paper, we introduce a neural
network CUSUM (NN-CUSUM) for online change-point detection. We also present a
general theoretical condition when the trained neural networks can perform
change-point detection and what losses can achieve our goal. We further extend
our analysis by combining it with the Neural Tangent Kernel theory to establish
learning guarantees for the standard performance metrics, including the average
run length (ARL) and expected detection delay (EDD). The strong performance of
NN-CUSUM is demonstrated in detecting change-point in high-dimensional data
using both synthetic and real-world data.
- Abstract(参考訳): 逐次データからデータ分布の急変を検出する変化点検出は、統計学や機械学習における根本的な問題である。
CUSUMは、再帰的計算と一定のメモリ要求から効率よくオンライン変更点検出を行うための一般的な統計手法であり、統計的最適性を持っている。
CUSUMは、変更前と変更後の正確な分布を知る必要がある。
しかし、変遷後の分布は、通常、異常と新規性を表すため、事前性が不明である。
モデルと実際のデータとのミスマッチがある場合、古典的なCUSUMは性能が良くない。
確率比に基づく手法は高次元の課題に直面するが、ニューラルネットワークは計算効率とスケーラビリティを備えた変化点検出の新たなツールになりつつある。
本稿では,オンライン変更点検出のためのニューラルネットワークCUSUM(NN-CUSUM)を提案する。
また、トレーニングされたニューラルネットワークが変化点検出を行い、損失が目標を達成する場合の一般的な理論的条件を示す。
平均ラン長(ARL)や予測検出遅延(EDD)など,標準的なパフォーマンス指標の学習保証を確立するために,ニューラルタンジェントカーネル理論と組み合わせることで,分析をさらに拡張する。
NN-CUSUMの強靭な性能は、合成データと実世界のデータの両方を用いて高次元データの変化点を検出する。
関連論文リスト
- NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。
ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。
報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
論文 参考訳(メタデータ) (2024-10-24T11:36:19Z) - Anomaly Detection in Power Grids via Context-Agnostic Learning [4.865842426618145]
グリッド上のセンサの固定セットから得られる時系列測定値を考えると、ネットワークトポロジや測定データの異常を識別できるだろうか?
近年のデータ駆動型ML技術は、現在のデータと過去のデータを組み合わせて異常検出を行っている。
本稿では,正規位相と負荷/世代変化の影響を考慮した,文脈認識型異常検出アルゴリズムGridCALを提案する。
論文 参考訳(メタデータ) (2024-04-11T16:37:01Z) - An Evaluation of Real-time Adaptive Sampling Change Point Detection Algorithm using KCUSUM [4.610597418629838]
本稿では,Kernel-based Cumulative Sum (KCUSUM)アルゴリズムを導入し,従来のCumulative Sum (CUSUM) 法を非パラメトリック拡張する。
KCUSUMは、入ってくるサンプルを参照サンプルと直接比較することで自身を分割し、最大平均離散(MMD)非パラメトリックフレームワークに基礎を置く統計を計算する。
我々は,NWChem CODARやタンパク質折り畳みデータなどの科学シミュレーションによる実世界のユースケースについて論じ,オンライン変化点検出におけるKCUSUMの有効性を実証した。
論文 参考訳(メタデータ) (2024-02-15T19:45:24Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Automatic Change-Point Detection in Time Series via Deep Learning [8.43086628139493]
ニューラルネットワークのトレーニングに基づいて,新しいオフライン検出手法を自動生成する方法を示す。
本稿では,そのような手法の誤差率を定量化する理論について述べる。
また,加速度計データに基づく活動変化の検出と位置推定にも強い効果が得られた。
論文 参考訳(メタデータ) (2022-11-07T20:59:14Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳(メタデータ) (2021-11-03T03:50:48Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-07-07T16:59:14Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳(メタデータ) (2021-02-25T14:24:49Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - Sequential change-point detection for mutually exciting point processes
over networks [11.672651073865538]
我々は,自己および相互エキサイティングなプロセス,すなわちホークスネットワークにおける変化点を逐次検出する新しいCUSUM手順を提案する。
提案手法は既存手法よりも性能がよいことを示す。
論文 参考訳(メタデータ) (2021-02-10T20:20:06Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。