論文の概要: An efficient and straightforward online quantization method for a data
stream through remove-birth updating
- arxiv url: http://arxiv.org/abs/2306.12574v2
- Date: Tue, 26 Dec 2023 02:01:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-28 02:01:11.431875
- Title: An efficient and straightforward online quantization method for a data
stream through remove-birth updating
- Title(参考訳): 復号更新によるデータストリームの効率的かつ簡便なオンライン量子化法
- Authors: Kazuhisa Fujita
- Abstract要約: データストリームの特性は動的に変化し、この変化はコンセプトドリフト(concept drift)として知られている。
本稿では,コンセプトドリフトのための簡単なオンラインベクトル量子化手法を提案する。
本研究は,コンセプトドリフトの存在下でも最小限のデッドユニットを生成可能であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growth of network-connected devices has led to an exponential increase in
data generation, creating significant challenges for efficient data analysis.
This data is generated continuously, creating a dynamic flow known as a data
stream. The characteristics of a data stream may change dynamically, and this
change is known as concept drift. Consequently, a method for handling data
streams must efficiently reduce their volume while dynamically adapting to
these changing characteristics. This paper proposes a simple online vector
quantization method for concept drift. The proposed method identifies and
replaces units with low win probability through remove-birth updating, thus
achieving a rapid adaptation to concept drift. Furthermore, the results of this
study show that the proposed method can generate minimal dead units even in the
presence of concept drift. This study also suggests that some metrics
calculated from the proposed method will be helpful for drift detection.
- Abstract(参考訳): ネットワークに接続されたデバイスの成長は、データ生成を指数関数的に増加させ、効率的なデータ分析に重大な課題を生み出した。
このデータは連続的に生成され、データストリームと呼ばれる動的フローを生成する。
データストリームの特性は動的に変化し、この変化は概念ドリフトと呼ばれる。
したがって、データストリームを処理する方法は、これらの変化特性に動的に適応しながら、効率的にボリュームを削減しなければならない。
本稿では,概念ドリフトのための簡単なオンラインベクトル量子化手法を提案する。
提案手法は, 概念ドリフトへの迅速な適応を実現するため, 発生頻度の低いユニットを識別し, 置換する。
さらに,本研究の結果から,コンセプトドリフトの存在下においても最小限のデッドユニットを生成できることが示唆された。
本研究は,提案手法から算出した測定値がドリフト検出に有用であることを示す。
関連論文リスト
- WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。
近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。
本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文 参考訳(メタデータ) (2024-07-18T11:51:01Z) - Online Drift Detection with Maximum Concept Discrepancy [13.48123472458282]
最大概念差に基づく新しい概念ドリフト検出手法であるMDD-DDを提案する。
本手法は,概念埋め込みのコントラスト学習により,様々な形態のコンセプトドリフトを適応的に同定することができる。
論文 参考訳(メタデータ) (2024-07-07T13:57:50Z) - METER: A Dynamic Concept Adaptation Framework for Online Anomaly
Detection [25.022228143354123]
リアルタイム分析と意思決定は、データストリームのドリフトを効率的かつ効果的に処理するために、オンラインの異常検出を必要とする。
既存のアプローチは、検出能力の制限と、進化するデータストリームへの適応の遅さによって制約されることが多い。
我々は,OADの新しいパラダイムを導入した新しい動的概念適応フレームワークであるMETERを紹介する。
論文 参考訳(メタデータ) (2023-12-28T05:09:31Z) - Accelerating Scalable Graph Neural Network Inference with Node-Adaptive
Propagation [80.227864832092]
グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。
大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。
本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
論文 参考訳(メタデータ) (2023-10-17T05:03:00Z) - Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。
大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
論文 参考訳(メタデータ) (2023-10-09T14:30:06Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - Autoregressive based Drift Detection Method [0.0]
我々はADDMと呼ばれる自己回帰モデルに基づく新しい概念ドリフト検出手法を提案する。
以上の結果から,新しいドリフト検出法は最先端ドリフト検出法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-03-09T14:36:16Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳(メタデータ) (2021-11-03T03:50:48Z) - Automatic Learning to Detect Concept Drift [40.69280758487987]
誤り率の変化パターンを追跡し,コンセプトドリフトの分類を学習する新しいフレームワークであるMeta-ADDを提案する。
具体的には、トレーニングフェーズにおいて、様々なコンセプトドリフトの誤差率に基づいてメタ特徴を抽出し、その後、原型ニューラルネットワークを介してメタ検出装置を開発する。
検出フェーズでは、学習したメタ検出器が微調整され、ストリームベースのアクティブラーニングを介して対応するデータストリームに適応する。
論文 参考訳(メタデータ) (2021-05-04T11:10:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。