論文の概要: Towards Efficient MCMC Sampling in Bayesian Neural Networks by
Exploiting Symmetry
- arxiv url: http://arxiv.org/abs/2304.02902v1
- Date: Thu, 6 Apr 2023 07:20:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 14:55:01.734996
- Title: Towards Efficient MCMC Sampling in Bayesian Neural Networks by
Exploiting Symmetry
- Title（参考訳）: 爆発対称性によるベイズニューラルネットワークの効率的なMCMCサンプリングに向けて
- Authors: Jonas Gregor Wiese, Lisa Wimmer, Theodore Papamarkou, Bernd Bischl,
Stephan G\"unnemann, David R\"ugamer
- Abstract要約: 理論的には、ベイズニューラルネットワークの後方予測密度は対称性のないパラメータ参照セットに制限可能である。
実験の結果, 効率的なサンプリングが可能であることが示唆され, 深層学習における正確な不確実性定量化への道が開かれた。
- 参考スコア（独自算出の注目度）: 1.7942265700058988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian inference in deep neural networks is challenging due to the
high-dimensional, strongly multi-modal parameter posterior density landscape.
Markov chain Monte Carlo approaches asymptotically recover the true posterior
but are considered prohibitively expensive for large modern architectures.
Local methods, which have emerged as a popular alternative, focus on specific
parameter regions that can be approximated by functions with tractable
integrals. While these often yield satisfactory empirical results, they fail,
by definition, to account for the multi-modality of the parameter posterior. In
this work, we argue that the dilemma between exact-but-unaffordable and
cheap-but-inexact approaches can be mitigated by exploiting symmetries in the
posterior landscape. Such symmetries, induced by neuron interchangeability and
certain activation functions, manifest in different parameter values leading to
the same functional output value. We show theoretically that the posterior
predictive density in Bayesian neural networks can be restricted to a
symmetry-free parameter reference set. By further deriving an upper bound on
the number of Monte Carlo chains required to capture the functional diversity,
we propose a straightforward approach for feasible Bayesian inference. Our
experiments suggest that efficient sampling is indeed possible, opening up a
promising path to accurate uncertainty quantification in deep learning.
- Abstract（参考訳）: ディープニューラルネットワークにおけるベイズ推論は、高次元、強いマルチモーダルパラメータ後続密度ランドスケープのために困難である。
マルコフ連鎖モンテカルロは漸近的に後背部を回復するが、大規模な近代建築には必然的に高価であると考えられている。
一般的な代替として出現した局所メソッドは、扱いやすい積分を持つ関数によって近似できる特定のパラメータ領域に焦点を当てている。
これらはしばしば十分な実験結果をもたらすが、定義上、後方のパラメータのマルチモーダリティを考慮すると失敗する。
本研究では, 後部景観の対称性を生かして, 厳密かつ非陳腐なアプローチのジレンマを軽減できることを論じる。
このような対称性はニューロンの交換性や特定の活性化関数によって誘導され、異なるパラメータ値で同じ関数出力値につながる。
ベイジアンニューラルネットワークの後方予測密度は、対称性のないパラメータ参照集合に制限できることを理論的に示す。
さらに、機能的多様性を捉えるのに必要なモンテカルロ鎖の数の上界を導出することにより、実現可能なベイズ推定のための簡単なアプローチを提案する。
実験の結果, 効率的なサンプリングが可能であることが示唆され, 深層学習における正確な不確実性定量化への道が開かれた。
関連論文リスト
- von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Robust probabilistic inference via a constrained transport metric [8.85031165304586]
我々は、パラメトリックな分布の族の近くに集中するように慎重に設計された指数関数的に傾いた経験的確に構築することで、新しい代替手段を提供する。
提案手法は,多種多様なロバストな推論問題に応用し,中心分布に付随するパラメータを推論する。
我々は,最先端の頑健なベイズ推論手法と比較した場合,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-03-17T16:10:06Z) - Bayesian deep learning framework for uncertainty quantification in high
dimensions [6.282068591820945]
我々はベイズニューラルネットワーク(BNN)とハミルトンモンテカルロ(HMC)に基づく偏微分方程式の不確実性定量化のための新しい深層学習法を開発した。
BNNは、ネットワークパラメータに対してベイズ推論を行うことにより、ディープニューラルネットワークにおけるパラメータの後方分布を効率的に学習する。
後部分布は、HMCを用いて効率よくサンプリングされ、システムの不確かさを定量化する。
論文 参考訳（メタデータ） (2022-10-21T05:20:06Z) - On Connecting Deep Trigonometric Networks with Deep Gaussian Processes:
Covariance, Expressivity, and Neural Tangent Kernel [6.599344783327053]
重み空間ビューは以前関数空間で得られたのと同じ有効共分散関数が得られることを示す。
トリグネットワークはフレキシブルで表現力があり、重み付けや特徴層においてパラメータに対して異なる事前分布を自由に適用できる。
論文 参考訳（メタデータ） (2022-03-14T18:14:59Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Arbitrary Marginal Neural Ratio Estimation for Simulation-based
Inference [7.888755225607877]
本稿では,数値積分に頼らずにパラメータの任意の部分集合に対する償却推論を可能にする新しい手法を提案する。
重力波観測による二元ブラックホール系のパラメータ推定法の適用性を示す。
論文 参考訳（メタデータ） (2021-10-01T14:35:46Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of
Multimodal Posteriors [8.11978827493967]
MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。
重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。
いくつかのモデルファミリで実践的な実装を示す。
論文 参考訳（メタデータ） (2020-06-22T15:26:59Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。