論文の概要: Low-rank extended Kalman filtering for online learning of neural networks from streaming data

• arxiv url: http://arxiv.org/abs/2305.19535v1
• Date: Wed, 31 May 2023 03:48:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:38:15.382327
• Title: Low-rank extended Kalman filtering for online learning of neural networks from streaming data
• Title（参考訳）: ストリーミングデータからのニューラルネットワークオンライン学習のための低ランク拡張カルマンフィルタ
• Authors: Peter Chang, Gerardo Dur\`an-Mart\'in, Alexander Y Shestopaloff, Matt Jones, Kevin Murphy
• Abstract要約: 非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
• 参考スコア（独自算出の注目度）: 72.30483901620794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an efficient online approximate Bayesian inference algorithm for estimating the parameters of a nonlinear function from a potentially non-stationary data stream. The method is based on the extended Kalman filter (EKF), but uses a novel low-rank plus diagonal decomposition of the posterior precision matrix, which gives a cost per step which is linear in the number of model parameters. In contrast to methods based on stochastic variational inference, our method is fully deterministic, and does not require step-size tuning. We show experimentally that this results in much faster (more sample efficient) learning, which results in more rapid adaptation to changing distributions, and faster accumulation of reward when used as part of a contextual bandit algorithm.
• Abstract（参考訳）: 非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ(ekf)に基づいているが、モデルパラメータの数に線形なステップあたりのコストを与える、後方精度行列の新たな低ランク+対角分解を用いる。 確率的変動推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。 実験により,この結果がより高速(より標本効率のよい)学習となり,分布の変化に適応しやすくなり,文脈的バンディットアルゴリズムの一部として使用する場合の報酬の蓄積が早くなることを示した。

関連論文リスト

• Particle-based Online Bayesian Sampling [24.290436348629452]
  粒子の集合を用いて近似分布を表すオンライン粒子に基づく変分推論(OPVI)アルゴリズムについて検討する。 近似の利用による勾配誤差を低減するために, ばらつきを低減するために, バッチサイズを増大させるサブ線形を含む。 実験の結果,提案アルゴリズムは既存のベイズサンプリング手法をオンライン環境に適用するよりも優れた結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T17:46:32Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
  画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。 この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
  論文  参考訳（メタデータ） (2021-08-02T13:38:09Z)
• KaFiStO: A Kalman Filtering Framework for Stochastic Optimization [27.64040983559736]
  ニューラルネットワークのトレーニングでは,サンプルのサブセットをランダムに選択することで,損失関数が時間とともに変化することを示す。 このランダム化は最適化問題を最適なものにする。 我々は、この損失を、何らかの参照に関してうるさい観察と見なすことを提案する。
  論文  参考訳（メタデータ） (2021-07-07T16:13:57Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• SLIP: Learning to Predict in Unknown Dynamical Systems with Long-Term Memory [21.09861411069719]
  本稿では,未知および部分的に観察された線形力学系におけるオンライン予測のための効率的かつ実用的な(多項式時間)アルゴリズムを提案する。 我々のアルゴリズムは、対数的後悔のみを伴って、後向きのカルマンフィルタと競合する。 我々の理論的および実験的結果は、部分的に観測されたデータからカルマンフィルタのほぼ正解(PAC)学習に必要な条件に光を当てた。
  論文  参考訳（メタデータ） (2020-10-12T17:50:21Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• High-dimensional, multiscale online changepoint detection [7.502070498889449]
  ガウス的データストリームが平均的に変更されるような設定において,高次元のオンライン変更点検出のための新しい手法を提案する。 このアルゴリズムは、新しい観測におけるストレージ要件と最悪の計算複雑性の両方が、以前の観測数とは無関係であるという意味で、オンラインである。 Rパッケージ 'ocd' に実装した提案手法の有効性をシミュレーションにより検証し,その有効性を地震学データセット上で実証する。
  論文  参考訳（メタデータ） (2020-03-07T21:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。