論文の概要: Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates
- arxiv url: http://arxiv.org/abs/2301.11294v1
- Date: Thu, 26 Jan 2023 18:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 12:47:56.310303
- Title: Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates
- Title(参考訳): コインサンプリング:学習率のない勾配に基づくベイズ推論
- Authors: Louis Sharrock, Christopher Nemeth
- Abstract要約: 本稿では,コインベッティングに基づくスケーラブルベイズ推論のための新しい粒子ベースの手法について紹介する。
いくつかの高次元モデルやデータセットを含む,さまざまな数値的な例に対して,本手法の性能について解説する。
- 参考スコア(独自算出の注目度): 1.90365714903665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, particle-based variational inference (ParVI) methods such as
Stein variational gradient descent (SVGD) have grown in popularity as scalable
methods for Bayesian inference. Unfortunately, the properties of such methods
invariably depend on hyperparameters such as the learning rate, which must be
carefully tuned by the practitioner in order to ensure convergence to the
target measure at a suitable rate. In this paper, we introduce a suite of new
particle-based methods for scalable Bayesian inference based on coin betting,
which are entirely learning-rate free. We illustrate the performance of our
approach on a range of numerical examples, including several high-dimensional
models and datasets, demonstrating comparable performance to other ParVI
algorithms.
- Abstract(参考訳): 近年、svgd (stein variational gradient descent) のような粒子ベース変分推論 (parvi) 法はベイズ推定のスケーラブルな手法として人気が高まっている。
残念ながら、そのような手法の特性は学習率などのハイパーパラメータに必ず依存しており、適切なレートで目標尺度への収束を確保するためには、実践者が慎重に調整する必要がある。
本稿では,コインベッティングに基づくスケーラブルベイズ推論のための新しい粒子ベースの手法について紹介する。
本稿では,ParVIアルゴリズムに匹敵する性能を示す高次元モデルやデータセットを含む,多種多様な数値例に対するアプローチの性能について述べる。
関連論文リスト
- Bayesian Deep Learning for Remaining Useful Life Estimation via Stein
Variational Gradient Descent [14.784809634505903]
本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。
ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
論文 参考訳(メタデータ) (2024-02-02T02:21:06Z) - Neural Operator Variational Inference based on Regularized Stein
Discrepancy for Deep Gaussian Processes [23.87733307119697]
本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。
NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。
提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
論文 参考訳(メタデータ) (2023-09-22T06:56:35Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks [11.937283219047984]
深部離散潜在変数モデルに対して近似的推論法が提案されている。
このような深層モデルの離散潜在表現を学習するための非パラメトリック反復アルゴリズムを提案する。
提案手法は,異なる特徴を持つデータセット間で評価し,その結果を現在の補正近似推定法と比較する。
論文 参考訳(メタデータ) (2023-03-14T20:50:12Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%~6%向上させる。
論文 参考訳(メタデータ) (2022-11-29T14:52:38Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳(メタデータ) (2022-05-23T18:54:27Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳(メタデータ) (2021-12-15T01:45:32Z) - Generative Particle Variational Inference via Estimation of Functional
Gradients [15.370890881254066]
本研究では, 後方分布から標本を推定する新しい学習法を提案する。
生成型ParVI (GPVI) 手法は, 生成型サンプリング装置の柔軟性を提供しながら, ParVI 法の性能を維持している。
論文 参考訳(メタデータ) (2021-03-01T20:29:41Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z) - Sparse Gaussian Processes Revisited: Bayesian Approaches to
Inducing-Variable Approximations [27.43948386608]
変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。
この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
論文 参考訳(メタデータ) (2020-03-06T08:53:18Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳(メタデータ) (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。