論文の概要: The Architecture and Evaluation of Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2503.11808v1
- Date: Fri, 14 Mar 2025 18:55:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 12:33:36.988633
- Title: The Architecture and Evaluation of Bayesian Neural Networks
- Title（参考訳）: ベイズニューラルネットワークのアーキテクチャと評価
- Authors: Alisa Sheinkman, Sara Wade,
- Abstract要約: 有望な理論的結果にもかかわらず、最もよく使われる後部近似の性質はしばしば疑問視される。
現代の深層モデルの次元と識別可能性の欠如により、マルコフ連鎖モンテカルロは高価になり、後部を十分に探索することができない。
本稿では,広帯域データやサンプル外データを含む様々なシナリオにおいて,計算コスト,精度,不確かさの定量化を考慮し,この点にいくつかの光を当てることを目的とする。
- 参考スコア（独自算出の注目度）: 0.276240219662896
- License:
- Abstract: As modern neural networks get more complex, specifying a model with high predictive performance and sound uncertainty quantification becomes a more challenging task. Despite some promising theoretical results on the true posterior predictive distribution of Bayesian neural networks, the properties of even the most commonly used posterior approximations are often questioned. Computational burdens and intractable posteriors expose miscalibrated Bayesian neural networks to poor accuracy and unreliable uncertainty estimates. Approximate Bayesian inference aims to replace unknown and intractable posterior distributions with some simpler but feasible distributions. The dimensions of modern deep models coupled with the lack of identifiability make Markov chain Monte Carlo tremendously expensive and unable to fully explore the multimodal posterior. On the other hand, variational inference benefits from improved computational complexity but lacks the asymptotical guarantees of sampling-based inference and tends to concentrate around a single mode. The performance of both approaches heavily depends on architectural choices; this paper aims to shed some light on this, by considering the computational costs, accuracy and uncertainty quantification in different scenarios including large width and out-of-sample data. To improve posterior exploration, different model averaging and ensembling techniques are studied, along with their benefits on predictive performance. In our experiments, variational inference overall provided better uncertainty quantification than Markov chain Monte Carlo; further, stacking and ensembles of variational approximations provided comparable to Markov chain Monte Carlo accuracy at a much-reduced cost.
- Abstract（参考訳）: 現代のニューラルネットワークが複雑化するにつれて、高い予測性能と音の不確実性定量化を備えたモデルを指定することがより難しい課題となる。
ベイジアンニューラルネットワークの真の後部予測分布に関するいくつかの有望な理論結果にもかかわらず、最もよく用いられる後部近似の性質は疑問視されることが多い。
計算上の負担と難解な後部は、誤校正されたベイズニューラルネットワークを、精度が悪く、信頼性の低い不確実性推定に曝す。
近似ベイズ推論は、未知かつ難解な後続分布を、より単純だが実現可能な分布に置き換えることを目的としている。
現代のディープモデルの次元と識別可能性の欠如はマルコフ連鎖モンテカルロを著しく高価にし、マルチモーダル後部を十分に探索することができない。
一方、変分推論は計算複雑性の改善の恩恵を受けるが、サンプリングベース推論の漸近的保証が欠如しており、単一のモードに集中する傾向がある。
両手法の性能は設計上の選択に大きく依存するが,本論文では,大規模データやサンプル外データを含む様々なシナリオにおいて,計算コスト,精度,不確かさの定量化を考慮し,この点に若干の光を当てることを目的としている。
後部探査を改善するため, モデル平均化およびアンサンブル技術について検討し, 予測性能に対する利点について検討した。
実験では, 変分推定によってマルコフ連鎖モンテカルロよりも不確実性の定量化が可能であり, さらに, マルコフ連鎖モンテカルロの精度に匹敵する変分近似の積み重ねとアンサンブルを, 大幅なコストで実現した。
関連論文リスト
- Variational Bayesian Bow tie Neural Networks with Shrinkage [0.276240219662896]
我々は、標準フィードフォワード修正ニューラルネットワークの緩和版を構築した。
我々は、条件付き線形およびガウス的モデルをレンダリングするために、Polya-Gammaデータ拡張トリックを用いる。
層間における分布仮定や独立性を回避する変分推論アルゴリズムを導出する。
論文 参考訳（メタデータ） (2024-11-17T17:36:30Z) - Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。
複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。
提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文 参考訳（メタデータ） (2023-10-10T14:06:56Z) - Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。
崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。
提案手法は, スケーラビリティと精度のバランスをとる。
論文 参考訳（メタデータ） (2023-06-16T08:34:42Z) - Bayesian Neural Networks for Reversible Steganography [0.7614628596146599]
ベイズ深層学習の理論的枠組みに基づく予測モデルにおける不確実性を検討することを提案する。
我々はモンテカルロサンプリングによる後方予測分布を可逆な前方通過で近似した。
予測の不確実性はアレータリックな不確実性に切り離すことができ、これらの量は教師なしの方法で学習可能であることを示す。
論文 参考訳（メタデータ） (2022-01-07T14:56:33Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of
Multimodal Posteriors [8.11978827493967]
MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。
重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。
いくつかのモデルファミリで実践的な実装を示す。
論文 参考訳（メタデータ） (2020-06-22T15:26:59Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。