論文の概要: Wide Bayesian neural networks have a simple weight posterior: theory and
accelerated sampling
- arxiv url: http://arxiv.org/abs/2206.07673v1
- Date: Wed, 15 Jun 2022 17:11:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 13:27:42.907466
- Title: Wide Bayesian neural networks have a simple weight posterior: theory and
accelerated sampling
- Title(参考訳): 幅の広いベイズ型ニューラルネットワークは後方に単純な重みを持つ:理論と高速化サンプリング
- Authors: Jiri Hron and Roman Novak and Jeffrey Pennington and Jascha
Sohl-Dickstein
- Abstract要約: 再帰化は、ベイズニューラルネットワーク(BNN)の後部を、層幅が大きくなるにつれてKLがBNNに分岐する分布に変換する。
我々は,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。
完全接続ネットワークと残留ネットワークの双方の分離を伴わないため, 最大50倍の有効試料サイズを観測した。
- 参考スコア(独自算出の注目度): 48.94555574632823
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce repriorisation, a data-dependent reparameterisation which
transforms a Bayesian neural network (BNN) posterior to a distribution whose KL
divergence to the BNN prior vanishes as layer widths grow. The repriorisation
map acts directly on parameters, and its analytic simplicity complements the
known neural network Gaussian process (NNGP) behaviour of wide BNNs in function
space. Exploiting the repriorisation, we develop a Markov chain Monte Carlo
(MCMC) posterior sampling algorithm which mixes faster the wider the BNN. This
contrasts with the typically poor performance of MCMC in high dimensions. We
observe up to 50x higher effective sample size relative to no reparametrisation
for both fully-connected and residual networks. Improvements are achieved at
all widths, with the margin between reparametrised and standard BNNs growing
with layer width.
- Abstract(参考訳): 階層幅が大きくなるにつれてKLがBNNに分岐する分布にベイズニューラルネットワーク(BNN)の後部を変換するデータ依存再パラメータ化(repriorisation)を導入する。
優先順位付けマップはパラメータに直接作用し、その解析的単純性は、関数空間における広いBNNの既知のニューラルネットワークガウス過程(NNGP)の振る舞いを補完する。
再試行を行い,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。
これはMCMCの高次元での典型的な性能とは対照的である。
完全接続ネットワークと残留ネットワークの双方の分離を伴わず, 最大50倍の有効試料サイズを観測した。
すべての幅で改善が行われ、再パラメータと標準bnnの間のマージンは層幅で成長する。
関連論文リスト
- Feature Learning and Generalization in Deep Networks with Orthogonal
Weights [2.0180882714261568]
独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。
これらのネットワークは、ネットワークの深さと線形に成長するゆらぎを示しており、深さに匹敵する幅のネットワークのトレーニングを損なう可能性がある。
行列のアンサンブルから得られるタンの活性化と重みを持つ長方形のネットワークは、深さによらず、逆幅の先頭の順に、対応する事前活性化変動を持つことを示す。
論文 参考訳(メタデータ) (2023-10-11T18:00:02Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Masked Bayesian Neural Networks : Computation and Optimality [1.3649494534428745]
そこで本稿では, 適切な複雑性を伴って, 優れた深層ニューラルネットワークを探索する, スパースベイズニューラルネットワーク(BNN)を提案する。
我々は各ノードのマスキング変数を用いて、後続分布に応じていくつかのノードをオフにし、ノードワイズDNNを生成する。
いくつかのベンチマークデータセットを解析することにより,提案したBNNが既存手法と比較してよく動作することを示す。
論文 参考訳(メタデータ) (2022-06-02T02:59:55Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳(メタデータ) (2021-04-29T15:38:46Z) - Bayesian Neural Network Priors Revisited [29.949163519715952]
SGDを用いて訓練された異なるネットワークにおけるニューラルネットワーク重みの要約統計について検討する。
我々は、フルコネクテッドネットワーク(FCNN)は重尾重み分布を示し、畳み込みニューラルネットワーク(CNN)重みは強い空間相関を示すことを発見した。
論文 参考訳(メタデータ) (2021-02-12T15:18:06Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - Study on the Large Batch Size Training of Neural Networks Based on the
Second Order Gradient [1.3794617022004712]
深層ニューラルネットワーク(DNN)における大規模バッチサイズのトレーニングは、よく知られた「一般化ギャップ」を持ち、非常に一般化性能の低下を引き起こす。
本稿では,nnの勾配,パラメータ更新ステップ長,損失更新ステップ長といった基本構造特性の異なるバッチサイズにおける進化について,理論と実験を組み合わせて検討する。
論文 参考訳(メタデータ) (2020-12-16T08:43:15Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。
実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文 参考訳(メタデータ) (2020-06-18T13:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。