論文の概要: An Evaluation of Real-time Adaptive Sampling Change Point Detection Algorithm using KCUSUM
- arxiv url: http://arxiv.org/abs/2402.10291v2
- Date: Fri, 5 Apr 2024 03:09:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 18:25:45.568177
- Title: An Evaluation of Real-time Adaptive Sampling Change Point Detection Algorithm using KCUSUM
- Title(参考訳): KCUSUMを用いたリアルタイム適応サンプリング変更点検出アルゴリズムの評価
- Authors: Vijayalakshmi Saravanan, Perry Siehien, Shinjae Yoo, Hubertus Van Dam, Thomas Flynn, Christopher Kelly, Khaled Z Ibrahim,
- Abstract要約: 本稿では,Kernel-based Cumulative Sum (KCUSUM)アルゴリズムを導入し,従来のCumulative Sum (CUSUM) 法を非パラメトリック拡張する。
KCUSUMは、入ってくるサンプルを参照サンプルと直接比較することで自身を分割し、最大平均離散(MMD)非パラメトリックフレームワークに基礎を置く統計を計算する。
我々は,NWChem CODARやタンパク質折り畳みデータなどの科学シミュレーションによる実世界のユースケースについて論じ,オンライン変化点検出におけるKCUSUMの有効性を実証した。
- 参考スコア(独自算出の注目度): 4.610597418629838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detecting abrupt changes in real-time data streams from scientific simulations presents a challenging task, demanding the deployment of accurate and efficient algorithms. Identifying change points in live data stream involves continuous scrutiny of incoming observations for deviations in their statistical characteristics, particularly in high-volume data scenarios. Maintaining a balance between sudden change detection and minimizing false alarms is vital. Many existing algorithms for this purpose rely on known probability distributions, limiting their feasibility. In this study, we introduce the Kernel-based Cumulative Sum (KCUSUM) algorithm, a non-parametric extension of the traditional Cumulative Sum (CUSUM) method, which has gained prominence for its efficacy in online change point detection under less restrictive conditions. KCUSUM splits itself by comparing incoming samples directly with reference samples and computes a statistic grounded in the Maximum Mean Discrepancy (MMD) non-parametric framework. This approach extends KCUSUM's pertinence to scenarios where only reference samples are available, such as atomic trajectories of proteins in vacuum, facilitating the detection of deviations from the reference sample without prior knowledge of the data's underlying distribution. Furthermore, by harnessing MMD's inherent random-walk structure, we can theoretically analyze KCUSUM's performance across various use cases, including metrics like expected delay and mean runtime to false alarms. Finally, we discuss real-world use cases from scientific simulations such as NWChem CODAR and protein folding data, demonstrating KCUSUM's practical effectiveness in online change point detection.
- Abstract(参考訳): 科学的シミュレーションからリアルタイムデータストリームの急激な変化を検出することは、正確で効率的なアルゴリズムの展開を要求する難しい課題である。
ライブデータストリームにおける変化点の特定には、特に高ボリュームのデータシナリオにおいて、その統計特性における偏差について、入ってくる観測を継続的に精査することが含まれる。
急激な変化検出と誤報の最小化のバランスを維持することは不可欠である。
この目的のための既存のアルゴリズムの多くは、その可能性を制限する既知の確率分布に依存している。
本研究では,従来のCUSUM法の非パラメトリック拡張であるKernel-based Cumulative Sum (KCUSUM)アルゴリズムを紹介する。
KCUSUMは、入ってくるサンプルを参照サンプルと直接比較することで自身を分割し、最大平均離散(MMD)非パラメトリックフレームワークに基礎を置く統計を計算する。
このアプローチは、KCUSUMの永続性を、真空中のタンパク質の原子軌道のような参照サンプルのみが利用できるシナリオにまで拡張する。
さらに、MDD固有のランダムウォーク構造を利用することで、予測遅延や平均実行時の誤警報といった様々なユースケースにおけるKCUSUMの性能を理論的に解析することができる。
最後に,NWChem CODARやタンパク質折り畳みデータなどの科学シミュレーションによる実世界のユースケースについて論じ,オンライン変化点検出におけるKCUSUMの有効性を実証した。
関連論文リスト
- Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。
提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
論文 参考訳(メタデータ) (2024-10-18T17:13:29Z) - Reproduction of scan B-statistic for kernel change-point detection algorithm [10.49860279555873]
変化点検出は、幅広い応用のために大きな注目を集めている。
本稿では,カーネルベースの効率的なスキャンB統計に基づくオンライン変更点検出アルゴリズムを最近提案した。
数値実験により, 走査型B統計が常に優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-08-23T15:12:31Z) - Partially-Observable Sequential Change-Point Detection for Autocorrelated Data via Upper Confidence Region [12.645304808491309]
逐次変化点検出のための状態空間モデル(AUCRSS)を用いたアダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・
SSMのオンライン推論のために部分的に観測可能なカルマンフィルタアルゴリズムを開発し、一般化された確率比テストに基づく変化点検出スキームを解析する。
論文 参考訳(メタデータ) (2024-03-30T02:32:53Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳(メタデータ) (2022-12-06T12:42:11Z) - Neural network-based CUSUM for online change-point detection [17.098858682219866]
オンライン変更点検出のためのニューラルネットワークCUSUM(NN-CUSUM)を提案する。
トレーニングされたニューラルネットワークが変化点検出を行うことができる場合の一般的な理論的条件を示す。
NN-CUSUMの強い性能は、高次元データにおける変化点の検出において実証される。
論文 参考訳(メタデータ) (2022-10-31T16:47:11Z) - Unsupervised Change Detection using DRE-CUSUM [14.73895038690252]
DRE-CUSUMは、時系列データの統計的変化を決定するために、教師なし密度比推定(DRE)に基づく手法である。
本稿では,統計的変化を確実に検出できることを示す理論的正当性および精度保証を示す。
我々は、既存の最先端の教師なしアルゴリズムよりも、合成データセットと実世界のデータセットの両方を用いて、DRE-CUSUMの優位性を実験的に示す。
論文 参考訳(メタデータ) (2022-01-27T17:25:42Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳(メタデータ) (2021-11-03T03:50:48Z) - Partially Observable Online Change Detection via Smooth-Sparse
Decomposition [16.8028358824706]
本研究は,センサ容量の制限により,各センシング時点におけるデータストリームのサブセットのみを観測できる,疎度な変化を伴う高次元データストリームのオンライン変化検出について考察する。
一方、検出方式は、部分的に観測可能なデータを扱うことができ、一方、スパース変化に対する効率的な検出能力を有するべきである。
本稿では,CDSSDと呼ばれる新しい検出手法を提案する。特にスムーズな分解によるスムーズな変化を伴う高次元データの構造について述べる。
論文 参考訳(メタデータ) (2020-09-22T16:03:04Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z) - A Robust Functional EM Algorithm for Incomplete Panel Count Data [66.07942227228014]
完全無作為な仮定(MCAR)の下での数え上げ過程の平均関数を推定する機能的EMアルゴリズムを提案する。
提案アルゴリズムは、いくつかの一般的なパネル数推定手法をラップし、不完全数にシームレスに対処し、ポアソン過程の仮定の誤特定に頑健である。
本稿では, 数値実験による提案アルゴリズムの有用性と喫煙停止データの解析について述べる。
論文 参考訳(メタデータ) (2020-03-02T20:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。