論文の概要: Bayesian Online Natural Gradient (BONG)

• arxiv url: http://arxiv.org/abs/2405.19681v2
• Date: Thu, 31 Oct 2024 07:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:58:33.188278
• Title: Bayesian Online Natural Gradient (BONG)
• Title（参考訳）: Bayesian Online Natural Gradient (BONG)
• Authors: Matt Jones, Peter Chang, Kevin Murphy,
• Abstract要約: 変分ベイズ(VB)に基づく逐次ベイズ推論への新しいアプローチを提案する。 重要な洞察は、オンライン環境では、前もって正規化するためにKLという用語を追加する必要はありません。 提案手法は,非共役条件下での他のオンラインVB手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 9.800443064368467
• License:
• Abstract: We propose a novel approach to sequential Bayesian inference based on variational Bayes (VB). The key insight is that, in the online setting, we do not need to add the KL term to regularize to the prior (which comes from the posterior at the previous timestep); instead we can optimize just the expected log-likelihood, performing a single step of natural gradient descent starting at the prior predictive. We prove this method recovers exact Bayesian inference if the model is conjugate. We also show how to compute an efficient deterministic approximation to the VB objective, as well as our simplified objective, when the variational distribution is Gaussian or a sub-family, including the case of a diagonal plus low-rank precision matrix. We show empirically that our method outperforms other online VB methods in the non-conjugate setting, such as online learning for neural networks, especially when controlling for computational costs.
• Abstract（参考訳）: 本稿では,変分ベイズ(VB)に基づく逐次ベイズ推定手法を提案する。 重要な洞察は、オンライン環境では、事前に正規化するためにKL項を追加する必要はなく(これは以前の時間ステップの後方から来ている)、予測されるログライクな状態だけを最適化し、先行予測から始まる自然な勾配降下の1ステップを実行することができるということです。 モデルが共役であれば、この手法は正確なベイズ推定を復元する。 また, 対角行列と低ランク行列を含む変分分布がガウス行列あるいはサブファミリーである場合, VB 目的に対する効率的な決定論的近似の計算方法や, 単純化された目的について述べる。 ニューラルネットワークのオンライン学習,特に計算コストの制御において,本手法が非共役環境において他のオンラインVB手法よりも優れていることを実証的に示す。

関連論文リスト

• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Using Random Walks for Iterative Phase Estimation [12.892284518456059]
  We provide a new approach to online Bayesian phase estimation that achieves Heisenberg limited scaling。 これは、既存の粒子フィルタ法ではミリ秒ではなく、CPU上でマイクロ秒で更新できることを意味している。 この研究は、オンラインベイズ推論が実用的で、効率的で、現代のFPGA駆動適応実験にデプロイする準備ができていることを示している。
  論文  参考訳（メタデータ） (2022-08-09T03:31:15Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes [1.827510863075184]
  このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。 この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
  論文  参考訳（メタデータ） (2020-07-03T11:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。