論文の概要: The k-tied Normal Distribution: A Compact Parameterization of Gaussian
Mean Field Posteriors in Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2002.02655v2
- Date: Sun, 5 Jul 2020 19:05:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 03:40:51.550297
- Title: The k-tied Normal Distribution: A Compact Parameterization of Gaussian
Mean Field Posteriors in Bayesian Neural Networks
- Title(参考訳): k-tied正規分布:ベイズニューラルネットワークにおけるガウス平均場後方のコンパクトパラメータ化
- Authors: Jakub Swiatkowski, Kevin Roth, Bastiaan S. Veeling, Linh Tran, Joshua
V. Dillon, Jasper Snoek, Stephan Mandt, Tim Salimans, Rodolphe Jenatton,
Sebastian Nowozin
- Abstract要約: 変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。
最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。
これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
- 参考スコア(独自算出の注目度): 46.677567663908185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational Bayesian Inference is a popular methodology for approximating
posterior distributions over Bayesian neural network weights. Recent work
developing this class of methods has explored ever richer parameterizations of
the approximate posterior in the hope of improving performance. In contrast,
here we share a curious experimental finding that suggests instead restricting
the variational distribution to a more compact parameterization. For a variety
of deep Bayesian neural networks trained using Gaussian mean-field variational
inference, we find that the posterior standard deviations consistently exhibit
strong low-rank structure after convergence. This means that by decomposing
these variational parameters into a low-rank factorization, we can make our
variational approximation more compact without decreasing the models'
performance. Furthermore, we find that such factorized parameterizations
improve the signal-to-noise ratio of stochastic gradient estimates of the
variational lower bound, resulting in faster convergence.
- Abstract(参考訳): 変分ベイズ推論は、ベイズニューラルネットワーク重みの後方分布を近似するための一般的な手法である。
このタイプの手法を開発する最近の研究は、性能向上を期待して近似後段のよりリッチなパラメータ化を探求している。
対照的に、ここでは変分分布をよりコンパクトなパラメータ化に制限することを示唆する興味深い実験的発見を共有する。
ガウス平均場変動推定を用いて訓練された様々なディープベイズニューラルネットワークに対して、後方標準偏差は収束後の強い低ランク構造を示す。
これは、これらの変動パラメータを低ランクの分解に分解することで、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができることを意味する。
さらに, 偏差パラメータ化により, 変分下界の確率勾配推定の信号-雑音比が向上し, より高速に収束することがわかった。
関連論文リスト
- Improving Diffusion Models for Inverse Problems Using Optimal Posterior
Covariance [54.70569748637465]
最近の拡散モデルは、ノイズのある線形逆問題に対する有望なゼロショット解を提供する。
既存のゼロショット法に対する最初の統一的解釈を提案する。
近年の手法は, 等方性ガウス近似を導出可能な後部分布に置き換えることと等価であることを示す。
論文 参考訳(メタデータ) (2024-02-03T13:35:39Z) - On the detrimental effect of invariances in the likelihood for
variational inference [21.912271882110986]
変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。
これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
論文 参考訳(メタデータ) (2022-09-15T09:13:30Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Variational Laplace for Bayesian neural networks [25.055754094939527]
Variational Laplaceは、ニューラルネットワークの重みをサンプリングすることなく、ELBOを推定する可能性の局所近似を利用する。
分散パラメータの学習率を増加させることで早期停止を回避できることを示す。
論文 参考訳(メタデータ) (2021-02-27T14:06:29Z) - Understanding Variational Inference in Function-Space [20.940162027560408]
この設定で、Kullback-Leiblerの発散を利用する際の利点と制限を強調します。
近似品質を直接測定する関数空間推論手法のベンチマークとしてベイズ線形回帰法を提案する。
論文 参考訳(メタデータ) (2020-11-18T17:42:01Z) - Approximation Based Variance Reduction for Reparameterization Gradients [38.73307745906571]
柔軟な変分分布は変分推論を改善するが、最適化は困難である。
既知平均と共分散行列を持つ任意の可逆分布に適用可能な制御変数を提案する。
これは、非分解的変分分布の推論に対する勾配分散と最適化収束の大幅な改善をもたらす。
論文 参考訳(メタデータ) (2020-07-29T06:55:11Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳(メタデータ) (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。