論文の概要: Kalman Filter for Online Classification of Non-Stationary Data

• arxiv url: http://arxiv.org/abs/2306.08448v1
• Date: Wed, 14 Jun 2023 11:41:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 19:07:26.855397
• Title: Kalman Filter for Online Classification of Non-Stationary Data
• Title（参考訳）: 非定常データのオンライン分類のためのカルマンフィルタ
• Authors: Michalis K. Titsias, Alexandre Galashov, Amal Rannen-Triki, Razvan Pascanu, Yee Whye Teh, Jorg Bornschein
• Abstract要約: オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
• 参考スコア（独自算出の注目度）: 101.26838049872651
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Online Continual Learning (OCL) a learning system receives a stream of data and sequentially performs prediction and training steps. Important challenges in OCL are concerned with automatic adaptation to the particular non-stationary structure of the data, and with quantification of predictive uncertainty. Motivated by these challenges we introduce a probabilistic Bayesian online learning model by using a (possibly pretrained) neural representation and a state space model over the linear predictor weights. Non-stationarity over the linear predictor weights is modelled using a parameter drift transition density, parametrized by a coefficient that quantifies forgetting. Inference in the model is implemented with efficient Kalman filter recursions which track the posterior distribution over the linear weights, while online SGD updates over the transition dynamics coefficient allows to adapt to the non-stationarity seen in data. While the framework is developed assuming a linear Gaussian model, we also extend it to deal with classification problems and for fine-tuning the deep learning representation. In a set of experiments in multi-class classification using data sets such as CIFAR-100 and CLOC we demonstrate the predictive ability of the model and its flexibility to capture non-stationarity.
• Abstract（参考訳）: オンライン連続学習(ocl)では、学習システムはデータのストリームを受け取り、予測およびトレーニングステップを順次実行する。 OCLの重要な課題は、データの特定の非定常構造への自動適応と予測の不確実性の定量化である。 これらの課題に触発され、線形予測量に対する(おそらく事前学習された)ニューラル表現と状態空間モデルを用いて確率的ベイズオンライン学習モデルを導入する。 線形予測子重みの非定常性は、忘れることを定量化する係数によってパラメータドリフト遷移密度を用いてモデル化される。 このモデルの推論は、線形重みの後方分布を追跡する効率的なカルマンフィルタ再帰によって実装されるが、遷移ダイナミクス係数のオンラインsgd更新により、データに見られる非定常性に適応することができる。 フレームワークは線形ガウスモデルとして開発されているが、分類問題やディープラーニング表現の微調整のために拡張する。 CIFAR-100 や CLOC などのデータセットを用いたマルチクラス分類実験では,モデルの予測能力と非定常性を捉える柔軟性を示す。

関連論文リスト

• Semi-supervised Regression Analysis with Model Misspecification and High-dimensional Data [8.619243141968886]
  条件付き平均モデルにおける回帰係数を推定するための推論フレームワークを提案する。 提案手法は,正規化推定器を適応度スコア(PS)と結果回帰(OR)モデルの両方に用い,拡張逆確率重み付き(AIPW)法を開発した。 我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ応用を通して検証される。
  論文  参考訳（メタデータ） (2024-06-20T00:34:54Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Bayes Risk Consistency of Nonparametric Classification Rules for Spike Trains Data [4.047840018793636]
  Spikeの訓練データには、計算神経科学、イメージング、ストリーミングデータ、ファイナンスなどの応用が増えている。 スパイクトレインの機械学習戦略は、様々なニューラルネットワークと確率モデルに基づいている。 本稿では,非パラメトリック特定強度関数を特徴とするスパイクトレインデータのクラスに対する2クラス統計分類問題について考察する。
  論文  参考訳（メタデータ） (2023-08-09T08:34:46Z)
• Transfer Learning with Uncertainty Quantification: Random Effect Calibration of Source to Target (RECaST) [1.8047694351309207]
  我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。 線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。 シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
  論文  参考訳（メタデータ） (2022-11-29T19:39:47Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering [0.20305676256390928]
  本研究では,非線形システム同定ベンチマークにおいて,学習手法が勾配勾配よりも優れていることを示す。 また、データ駆動非線形モデル予測制御におけるアルゴリズムの利用と、オフセットフリートラッキングにおける外乱モデルとの関係についても検討する。
  論文  参考訳（メタデータ） (2021-11-04T07:49:15Z)
• KalmanNet: Neural Network Aided Kalman Filtering for Partially Known Dynamics [84.18625250574853]
  KalmanNetは、データから学習し、非線形力学の下でKalmanフィルタを実行するリアルタイム状態推定器である。 我々は、KalmanNetが非線形性とモデルミスマッチを克服し、古典的なフィルタリング手法より優れていることを数値的に示す。
  論文  参考訳（メタデータ） (2021-07-21T12:26:46Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Online Tensor-Based Learning for Multi-Way Data [1.0953917735844645]
  オンラインの$CANDECOMP/PARAFAC$分解のために、新しい効率的なテンソルベースの特徴抽出法NeSGDが提案されている。 その結果,提案手法は分類誤り率を大幅に改善し,時間とともに正のデータ分布の変化を同化することができ,全てのケーススタディにおいて高い予測精度を維持した。
  論文  参考訳（メタデータ） (2020-03-10T02:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。