Fugu-MT 論文翻訳(概要): Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates

論文の概要: Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates

arxiv url: http://arxiv.org/abs/2301.11294v2
Date: Tue, 30 May 2023 11:35:52 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 01:46:45.806271
Title: Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates
Title（参考訳）: コインサンプリング:学習率のない勾配に基づくベイズ推論
Authors: Louis Sharrock, Christopher Nemeth
Abstract要約: コインベッティングに基づくスケーラブルなベイズ推論のための新しい粒子ベースの手法について紹介する。学習率を調整する必要のない他のParVIアルゴリズムに匹敵する性能を示す。
参考スコア（独自算出の注目度）: 1.90365714903665
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, particle-based variational inference (ParVI) methods such as Stein variational gradient descent (SVGD) have grown in popularity as scalable methods for Bayesian inference. Unfortunately, the properties of such methods invariably depend on hyperparameters such as the learning rate, which must be carefully tuned by the practitioner in order to ensure convergence to the target measure at a suitable rate. In this paper, we introduce a suite of new particle-based methods for scalable Bayesian inference based on coin betting, which are entirely learning-rate free. We illustrate the performance of our approach on a range of numerical examples, including several high-dimensional models and datasets, demonstrating comparable performance to other ParVI algorithms with no need to tune a learning rate.
Abstract（参考訳）: 近年、svgd (stein variational gradient descent) のような粒子ベース変分推論 (parvi) 法はベイズ推定のスケーラブルな手法として人気が高まっている。残念ながら、そのような手法の特性は学習率などのハイパーパラメータに必ず依存しており、適切なレートで目標尺度への収束を確保するためには、実践者が慎重に調整する必要がある。本稿では,コインベッティングに基づくスケーラブルベイズ推論のための新しい粒子ベースの手法について紹介する。本稿では,いくつかの高次元モデルやデータセットなど,学習率を調整せずに他のParVIアルゴリズムに匹敵する性能を示す数値例について述べる。

関連論文リスト

Semi-Implicit Functional Gradient Flow [30.32233517392456]
近似系として摂動粒子を用いる関数勾配ParVI法を提案する。対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。
論文参考訳（メタデータ） (2024-10-23T15:00:30Z)
CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
論文参考訳（メタデータ） (2024-04-22T11:52:40Z)
Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent [14.784809634505903]
本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
論文参考訳（メタデータ） (2024-02-02T02:21:06Z)
Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes [23.87733307119697]
本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。 NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
論文参考訳（メタデータ） (2023-09-22T06:56:35Z)
Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文参考訳（メタデータ） (2023-05-31T03:48:49Z)
Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks [11.937283219047984]
深部離散潜在変数モデルに対して近似的推論法が提案されている。このような深層モデルの離散潜在表現を学習するための非パラメトリック反復アルゴリズムを提案する。提案手法は,異なる特徴を持つデータセット間で評価し,その結果を現在の補正近似推定法と比較する。
論文参考訳（メタデータ） (2023-03-14T20:50:12Z)
Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文参考訳（メタデータ） (2022-05-23T18:54:27Z)
Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文参考訳（メタデータ） (2021-12-15T01:45:32Z)
Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文参考訳（メタデータ） (2020-05-21T16:08:38Z)
Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
論文参考訳（メタデータ） (2020-03-06T08:53:18Z)
Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。