論文の概要: Function-Space MCMC for Bayesian Wide Neural Networks
- arxiv url: http://arxiv.org/abs/2408.14325v3
- Date: Mon, 7 Oct 2024 14:23:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 05:04:12.050553
- Title: Function-Space MCMC for Bayesian Wide Neural Networks
- Title（参考訳）: ベイズワイドニューラルネットワークのための関数空間MCMC
- Authors: Lucia Pezzetti, Stefano Favaro, Stefano Peluchetti,
- Abstract要約: 本研究では,プレコンディション付きクランク・ニコソン法とそのランゲヴィン法を用いて,重みの分離後分布の標本化を行った。
提案手法の受容確率は,ネットワークの幅が大きくなるにつれて1に近づく。
- 参考スコア（独自算出の注目度）: 9.899763598214124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian Neural Networks represent a fascinating confluence of deep learning and probabilistic reasoning, offering a compelling framework for understanding uncertainty in complex predictive models. In this paper, we investigate the use of the preconditioned Crank-Nicolson algorithm and its Langevin version to sample from the reparametrised posterior distribution of the weights as the widths of Bayesian Neural Networks grow larger. In addition to being robust in the infinite-dimensional setting, we prove that the acceptance probabilities of the proposed methods approach 1 as the width of the network increases, independently of any stepsize tuning. Moreover, we examine and compare how the mixing speeds of the underdamped Langevin Monte Carlo, the preconditioned Crank-Nicolson and the preconditioned Crank-Nicolson Langevin samplers are influenced by changes in the network width in some real-world cases. Our findings suggest that, in wide Bayesian Neural Networks configurations, the preconditioned Crank-Nicolson method allows for more efficient sampling of the reparametrised posterior distribution, as evidenced by a higher effective sample size and improved diagnostic results compared with the other analysed algorithms.
- Abstract（参考訳）: ベイズニューラルネットワークは、複雑な予測モデルにおける不確実性を理解するための魅力的なフレームワークを提供する。
本稿では, ベイズニューラルネットワークの幅が大きくなるにつれて, 重みの再パラメータ化後部分布から, プリコンディション付きクランク・ニコソン法とそのランゲヴィン法を用いて検討する。
無限次元環境におけるロバスト性に加えて,ネットワークの幅が大きくなるにつれて提案手法の受容確率が1に近づくことを証明する。
さらに,アンダーダムのランゲヴィン・モンテカルロ,プレコンディションのクランク・ニコソン,プリコンディションのクランク・ニコソン・ランゲヴィンの混合速度が,実世界のいくつかのケースにおけるネットワーク幅の変化の影響について検討・比較した。
その結果,ベイズニューラルネットワークの広い構成において,予備条件付きクランク・ニコソン法により,より効率的な後方分布のサンプリングが可能であることが示唆された。
関連論文リスト
- Posterior and variational inference for deep neural networks with heavy-tailed weights [0.0]
我々は、ネットワーク重みをランダムにサンプリングする事前分布を持つベイズフレームワークにおいて、ディープニューラルネットワークを考察する。
後部分布は, ほぼ最適のミニマックス収縮速度を達成できることを示す。
また, 実験結果の変分ベイズ版も提供し, 平均場変分近似は, ほぼ最適理論的支援の恩恵を受けていることを示した。
論文 参考訳（メタデータ） (2024-06-05T15:24:20Z) - On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。
ニューラルネットワークの 後部分布からサンプルを生成することは 大きな課題です
この方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。
本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
論文 参考訳（メタデータ） (2024-03-13T15:21:14Z) - Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。
構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。
本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-17T17:14:18Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。
その結果,メモリと実行時間が少なくなるモデルが得られた。
論文 参考訳（メタデータ） (2022-10-10T17:52:47Z) - Wide Bayesian neural networks have a simple weight posterior: theory and
accelerated sampling [48.94555574632823]
再帰化は、ベイズニューラルネットワーク(BNN)の後部を、層幅が大きくなるにつれてKLがBNNに分岐する分布に変換する。
我々は,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。
完全接続ネットワークと残留ネットワークの双方の分離を伴わないため, 最大50倍の有効試料サイズを観測した。
論文 参考訳（メタデータ） (2022-06-15T17:11:08Z) - Precise characterization of the prior predictive distribution of deep
ReLU networks [45.46732383818331]
ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。
この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
論文 参考訳（メタデータ） (2021-06-11T21:21:52Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。