論文の概要: Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling

• arxiv url: http://arxiv.org/abs/2206.07673v1
• Date: Wed, 15 Jun 2022 17:11:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 13:27:42.907466
• Title: Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling
• Title（参考訳）: 幅の広いベイズ型ニューラルネットワークは後方に単純な重みを持つ:理論と高速化サンプリング
• Authors: Jiri Hron and Roman Novak and Jeffrey Pennington and Jascha Sohl-Dickstein
• Abstract要約: 再帰化は、ベイズニューラルネットワーク(BNN)の後部を、層幅が大きくなるにつれてKLがBNNに分岐する分布に変換する。 我々は,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。 完全接続ネットワークと残留ネットワークの双方の分離を伴わないため, 最大50倍の有効試料サイズを観測した。
• 参考スコア（独自算出の注目度）: 48.94555574632823
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce repriorisation, a data-dependent reparameterisation which transforms a Bayesian neural network (BNN) posterior to a distribution whose KL divergence to the BNN prior vanishes as layer widths grow. The repriorisation map acts directly on parameters, and its analytic simplicity complements the known neural network Gaussian process (NNGP) behaviour of wide BNNs in function space. Exploiting the repriorisation, we develop a Markov chain Monte Carlo (MCMC) posterior sampling algorithm which mixes faster the wider the BNN. This contrasts with the typically poor performance of MCMC in high dimensions. We observe up to 50x higher effective sample size relative to no reparametrisation for both fully-connected and residual networks. Improvements are achieved at all widths, with the margin between reparametrised and standard BNNs growing with layer width.
• Abstract（参考訳）: 階層幅が大きくなるにつれてKLがBNNに分岐する分布にベイズニューラルネットワーク(BNN)の後部を変換するデータ依存再パラメータ化(repriorisation)を導入する。 優先順位付けマップはパラメータに直接作用し、その解析的単純性は、関数空間における広いBNNの既知のニューラルネットワークガウス過程(NNGP)の振る舞いを補完する。 再試行を行い,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。 これはMCMCの高次元での典型的な性能とは対照的である。 完全接続ネットワークと残留ネットワークの双方の分離を伴わず, 最大50倍の有効試料サイズを観測した。 すべての幅で改善が行われ、再パラメータと標準bnnの間のマージンは層幅で成長する。

関連論文リスト

• Sampling from Bayesian Neural Network Posteriors with Symmetric Minibatch Splitting Langevin Dynamics [0.8749675983608172]
  本稿では,ビッグデータおよびAIアプリケーションのパラメータ空間をサンプリングするためのスケーラブルな動的ランゲヴィン動的アルゴリズムを提案する。 その結果,Symmetric Minibatch Splitting-UBU (SMS-UBU) インテグレータのバイアスは$O(h2 d1/2)$ in dimension $d>0$ with stepsize $h>0$であることがわかった。 このアルゴリズムを用いて, 畳み込みニューラルネットワークアーキテクチャを用いたニューラルネットワークにおいて, ベイズニューラルネットワーク(BNN)の後部分布の局所的モードを探索し, 後部予測確率の校正性能を評価する。
  論文  参考訳（メタデータ） (2024-10-14T13:47:02Z)
• Function-Space MCMC for Bayesian Wide Neural Networks [9.899763598214124]
  本研究では,プレコンディション付きクランク・ニコソン法とそのランゲヴィン法を用いて,重みの分離後分布の標本化を行った。 提案手法の受容確率は,ネットワークの幅が大きくなるにつれて1に近づく。
  論文  参考訳（メタデータ） (2024-08-26T14:54:13Z)
• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Study on the Large Batch Size Training of Neural Networks Based on the Second Order Gradient [1.3794617022004712]
  深層ニューラルネットワーク(DNN)における大規模バッチサイズのトレーニングは、よく知られた「一般化ギャップ」を持ち、非常に一般化性能の低下を引き起こす。 本稿では,nnの勾配,パラメータ更新ステップ長,損失更新ステップ長といった基本構造特性の異なるバッチサイズにおける進化について,理論と実験を組み合わせて検討する。
  論文  参考訳（メタデータ） (2020-12-16T08:43:15Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。