論文の概要: Kalman Filter for Online Classification of Non-Stationary Data
- arxiv url: http://arxiv.org/abs/2306.08448v1
- Date: Wed, 14 Jun 2023 11:41:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 19:07:26.855397
- Title: Kalman Filter for Online Classification of Non-Stationary Data
- Title(参考訳): 非定常データのオンライン分類のためのカルマンフィルタ
- Authors: Michalis K. Titsias, Alexandre Galashov, Amal Rannen-Triki, Razvan
Pascanu, Yee Whye Teh, Jorg Bornschein
- Abstract要約: オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
- 参考スコア(独自算出の注目度): 101.26838049872651
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Online Continual Learning (OCL) a learning system receives a stream of
data and sequentially performs prediction and training steps. Important
challenges in OCL are concerned with automatic adaptation to the particular
non-stationary structure of the data, and with quantification of predictive
uncertainty. Motivated by these challenges we introduce a probabilistic
Bayesian online learning model by using a (possibly pretrained) neural
representation and a state space model over the linear predictor weights.
Non-stationarity over the linear predictor weights is modelled using a
parameter drift transition density, parametrized by a coefficient that
quantifies forgetting. Inference in the model is implemented with efficient
Kalman filter recursions which track the posterior distribution over the linear
weights, while online SGD updates over the transition dynamics coefficient
allows to adapt to the non-stationarity seen in data. While the framework is
developed assuming a linear Gaussian model, we also extend it to deal with
classification problems and for fine-tuning the deep learning representation.
In a set of experiments in multi-class classification using data sets such as
CIFAR-100 and CLOC we demonstrate the predictive ability of the model and its
flexibility to capture non-stationarity.
- Abstract(参考訳): オンライン連続学習(ocl)では、学習システムはデータのストリームを受け取り、予測およびトレーニングステップを順次実行する。
OCLの重要な課題は、データの特定の非定常構造への自動適応と予測の不確実性の定量化である。
これらの課題に触発され、線形予測量に対する(おそらく事前学習された)ニューラル表現と状態空間モデルを用いて確率的ベイズオンライン学習モデルを導入する。
線形予測子重みの非定常性は、忘れることを定量化する係数によってパラメータドリフト遷移密度を用いてモデル化される。
このモデルの推論は、線形重みの後方分布を追跡する効率的なカルマンフィルタ再帰によって実装されるが、遷移ダイナミクス係数のオンラインsgd更新により、データに見られる非定常性に適応することができる。
フレームワークは線形ガウスモデルとして開発されているが、分類問題やディープラーニング表現の微調整のために拡張する。
CIFAR-100 や CLOC などのデータセットを用いたマルチクラス分類実験では,モデルの予測能力と非定常性を捉える柔軟性を示す。
関連論文リスト
- Poisson-Gamma Dynamical Systems with Non-Stationary Transition Dynamics [54.19709905569658]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳(メタデータ) (2024-02-26T04:39:01Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference [50.91823345296243]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳(メタデータ) (2023-12-10T15:22:30Z) - Bayes Risk Consistency of Nonparametric Classification Rules for Spike
Trains Data [4.047840018793636]
Spikeの訓練データには、計算神経科学、イメージング、ストリーミングデータ、ファイナンスなどの応用が増えている。
スパイクトレインの機械学習戦略は、様々なニューラルネットワークと確率モデルに基づいている。
本稿では,非パラメトリック特定強度関数を特徴とするスパイクトレインデータのクラスに対する2クラス統計分類問題について考察する。
論文 参考訳(メタデータ) (2023-08-09T08:34:46Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳(メタデータ) (2022-11-29T19:39:47Z) - Non-linear manifold ROM with Convolutional Autoencoders and Reduced
Over-Collocation method [0.0]
非アフィンパラメトリックな依存、非線形性、興味のモデルにおける対流支配的な規則は、ゆっくりとしたコルモゴロフ n-幅の崩壊をもたらす。
我々は,Carlbergらによって導入された非線形多様体法を,オーバーコロケーションの削減とデコーダの教師/学生による学習により実現した。
本研究では,2次元非線形保存法と2次元浅水モデルを用いて方法論を検証し,時間とともに動的に進化する純粋データ駆動型手法と長期記憶ネットワークとの比較を行った。
論文 参考訳(メタデータ) (2022-03-01T11:16:50Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳(メタデータ) (2022-02-11T13:49:51Z) - Recurrent Neural Network Training with Convex Loss and Regularization
Functions by Extended Kalman Filtering [0.20305676256390928]
本研究では,非線形システム同定ベンチマークにおいて,学習手法が勾配勾配よりも優れていることを示す。
また、データ駆動非線形モデル予測制御におけるアルゴリズムの利用と、オフセットフリートラッキングにおける外乱モデルとの関係についても検討する。
論文 参考訳(メタデータ) (2021-11-04T07:49:15Z) - KalmanNet: Neural Network Aided Kalman Filtering for Partially Known
Dynamics [84.18625250574853]
KalmanNetは、データから学習し、非線形力学の下でKalmanフィルタを実行するリアルタイム状態推定器である。
我々は、KalmanNetが非線形性とモデルミスマッチを克服し、古典的なフィルタリング手法より優れていることを数値的に示す。
論文 参考訳(メタデータ) (2021-07-21T12:26:46Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Online Tensor-Based Learning for Multi-Way Data [1.0953917735844645]
オンラインの$CANDECOMP/PARAFAC$分解のために、新しい効率的なテンソルベースの特徴抽出法NeSGDが提案されている。
その結果,提案手法は分類誤り率を大幅に改善し,時間とともに正のデータ分布の変化を同化することができ,全てのケーススタディにおいて高い予測精度を維持した。
論文 参考訳(メタデータ) (2020-03-10T02:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。