論文の概要: The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2002.02655v2
• Date: Sun, 5 Jul 2020 19:05:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 03:40:51.550297
• Title: The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
• Title（参考訳）: k-tied正規分布:ベイズニューラルネットワークにおけるガウス平均場後方のコンパクトパラメータ化
• Authors: Jakub Swiatkowski, Kevin Roth, Bastiaan S. Veeling, Linh Tran, Joshua V. Dillon, Jasper Snoek, Stephan Mandt, Tim Salimans, Rodolphe Jenatton, Sebastian Nowozin
• Abstract要約: 変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。 最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。 これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
• 参考スコア（独自算出の注目度）: 46.677567663908185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Bayesian Inference is a popular methodology for approximating posterior distributions over Bayesian neural network weights. Recent work developing this class of methods has explored ever richer parameterizations of the approximate posterior in the hope of improving performance. In contrast, here we share a curious experimental finding that suggests instead restricting the variational distribution to a more compact parameterization. For a variety of deep Bayesian neural networks trained using Gaussian mean-field variational inference, we find that the posterior standard deviations consistently exhibit strong low-rank structure after convergence. This means that by decomposing these variational parameters into a low-rank factorization, we can make our variational approximation more compact without decreasing the models' performance. Furthermore, we find that such factorized parameterizations improve the signal-to-noise ratio of stochastic gradient estimates of the variational lower bound, resulting in faster convergence.
• Abstract（参考訳）: 変分ベイズ推論は、ベイズニューラルネットワーク重みの後方分布を近似するための一般的な手法である。 このタイプの手法を開発する最近の研究は、性能向上を期待して近似後段のよりリッチなパラメータ化を探求している。 対照的に、ここでは変分分布をよりコンパクトなパラメータ化に制限することを示唆する興味深い実験的発見を共有する。 ガウス平均場変動推定を用いて訓練された様々なディープベイズニューラルネットワークに対して、後方標準偏差は収束後の強い低ランク構造を示す。 これは、これらの変動パラメータを低ランクの分解に分解することで、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができることを意味する。 さらに, 偏差パラメータ化により, 変分下界の確率勾配推定の信号-雑音比が向上し, より高速に収束することがわかった。

関連論文リスト

• Reparameterization invariance in approximate Bayesian inference [32.88960624085645]
  線形化の成功を説明するために, 線形化の新たな幾何学的視点を構築した。 これらのreパラメータ化不変性は、元のニューラルネットワーク予測に拡張可能であることを実証する。
  論文  参考訳（メタデータ） (2024-06-05T14:49:15Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• On the detrimental effect of invariances in the likelihood for variational inference [21.912271882110986]
  変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。 これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
  論文  参考訳（メタデータ） (2022-09-15T09:13:30Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Variational Laplace for Bayesian neural networks [25.055754094939527]
  Variational Laplaceは、ニューラルネットワークの重みをサンプリングすることなく、ELBOを推定する可能性の局所近似を利用する。 分散パラメータの学習率を増加させることで早期停止を回避できることを示す。
  論文  参考訳（メタデータ） (2021-02-27T14:06:29Z)
• Approximation Based Variance Reduction for Reparameterization Gradients [38.73307745906571]
  柔軟な変分分布は変分推論を改善するが、最適化は困難である。 既知平均と共分散行列を持つ任意の可逆分布に適用可能な制御変数を提案する。 これは、非分解的変分分布の推論に対する勾配分散と最適化収束の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2020-07-29T06:55:11Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。