論文の概要: Theoretical and Practical Advances in Hierarchical Bayesian Deep Learning Methodology
- arxiv url: http://arxiv.org/abs/2610.19074v1
- Date: Tue, 13 Oct 2026 19:08:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.767959
- Title: Theoretical and Practical Advances in Hierarchical Bayesian Deep Learning Methodology
- Title（参考訳）: 階層型ベイズ深層学習方法論の理論的・実践的進歩
- Abstract要約: 条件パラメータ推論のためのマルチレベル粒子境界型メトロポリス・ハスティング法(MLPMMH)を提案する。
また、S-MLPMMHは、正確なサンプリングコンポーネントをPCAベースの階層とスケーラブルなベイジアンモンテカルロに置き換える実用的な近似である。
- 参考スコア（独自算出の注目度）: 0.4974815773537217
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reliable uncertainty quantification remains an important challenge in AI. Hierarchical Bayesian methods provide a principled framework for this by representing unknown quantities through posterior distributions. Joint inference of neural-network parameters and prior hyperparameters is challenging for conventional Markov chain Monte Carlo (MCMC) methods due to strong dependencies. In this work, we introduce the multilevel particle marginal Metropolis-Hastings (MLPMMH) method, which combines pseudo-marginal inference for the hyperparameters with coupled sequential Monte Carlo (SMC) across hierarchy of network-width truncations for conditional parameter inference. The hierarchy is induced by a trace-class neural network (TNN) prior with width-dependent decay, motivated empirically by the compressible structure observed in trained neural-network parameters. Under standard multilevel coupling assumptions, we establish that MLPMMH achieves mean-square error (MSE) $\mathcal{O}(\varepsilon^2)$ at expected computational cost $\mathcal{O}(\varepsilon^{-2})$, and verify the predicted rate on a Bayesian regression problem. To address larger-scale applications, we further introduce S-MLPMMH, a practical approximation that replaces the exact sampling components with a PCA-based hierarchy and scalable Bayesian Monte Carlo. Experiments on MNIST demonstrate competitive predictive performance and uncertainty quantification while exploiting the parallel structure of the approximation. Software has been made publicly available at https://github.com/submission-code-anon/mlpmmh-anon.
- Abstract（参考訳）: 信頼性の高い不確実性定量化は、AIにとって依然として重要な課題である。
階層的ベイズ法は、後続分布を通して未知の量を表すことによって、このための原則的な枠組みを提供する。
従来のマルコフ連鎖モンテカルロ (MCMC) 法では, 強い依存性のため, ニューラルネットワークパラメータと先行ハイパーパラメータの同時推論が困難である。
本研究では,マルチレベル粒子境界型メトロポリス・ハスティング法 (MLPMMH) を導入し,条件パラメータ推論のためのネットワーク幅トラニケーションの階層にまたがって,ハイパーパラメータの擬似正則推論と連続的モンテカルロ (SMC) を組み合わせた。
階層は、幅依存的な崩壊に先立ってトレースクラスニューラルネットワーク(TNN)によって誘導され、トレーニングされたニューラルネットワークパラメータで観察される圧縮可能な構造によって経験的に動機付けられる。
MLPMMH は平均二乗誤差 (MSE) $\mathcal{O}(\varepsilon^2)$ at expected computational cost $\mathcal{O}(\varepsilon^{-2})$ を達成し、ベイズ回帰問題の予測率を検証する。
S-MLPMMHは、正確なサンプリングコンポーネントをPCAベースの階層とスケーラブルなベイズ的モンテカルロに置き換える実用的な近似である。
MNISTの実験は、近似の並列構造を利用して、競合予測性能と不確実性定量化を実証した。
ソフトウェアはhttps://github.com/submission-code-anon/mlpmmh-anonで公開されている。
関連論文リスト
- Kernel Renormalization in Bayesian Deep Neural Networks: the Equivalent Wishart Ansatz in the Proportional Regime [33.80781505782195]
固定深さ$L$の多層パーセプトロン(MLP)の性能を任意の高次元データ上で予測する有効な近似手法を提案する。
比例極限における強い表現学習でさえ、最低でも$L$の順序パラメータで符号化され、自己整合的に決定される。
論文 参考訳（メタデータ） (2026-05-28T09:49:54Z) - Monte Carlo Stochastic Depth for Uncertainty Estimation in Deep Learning [0.6117371161379207]
安全クリティカルシステムにおけるディープニューラルネットワークは、信頼性と効率的な不確実性定量化(UQ)を必要とする
UQの実用的な戦略は、モンテカルロ・ドロップアウト(MCD)やMC-DropBlock(MCDB)のようなスケーラブルな近似ベイズ推論手法として正規化器を再開発することである。
MCSDは,現代ディープラーニングにおけるベイズ近似の効率化のための理論的基礎と実証的検証ツールとして確立されている。
論文 参考訳（メタデータ） (2026-04-14T13:33:40Z) - Learning Discrete Bayesian Networks with Hierarchical Dirichlet Shrinkage [52.914168158222765]
我々はDBNを学習するための包括的なベイズ的フレームワークについて詳述する。
我々は、並列ランゲヴィン提案を用いてマルコフ連鎖モンテカルロ(MCMC)アルゴリズムを新たに提案し、正確な後続サンプルを生成する。
原発性乳癌検体から予後ネットワーク構造を明らかにするために本手法を適用した。
論文 参考訳（メタデータ） (2025-09-16T17:24:35Z) - Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks [3.2254941904559917]
部分ベイズニューラルネットワーク(pBNN)は完全にベイズニューラルネットワークと競合することが示されている。
我々は、ガイド付き提案を活用し、勾配ベースのMarkovカーネルを組み込むことにより、新しいSMCベースのpBNNトレーニング手法を提案する。
提案手法は,予測性能と最適損失の点で最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2025-05-01T20:05:38Z) - Parameter Expanded Stochastic Gradient Markov Chain Monte Carlo [32.46884330460211]
グラディエント・マルコフ・チェイン・モンテカルロにおけるサンプルの多様性を高めるための単純かつ効果的な手法を提案する。
このアプローチはより多様なサンプルセットを生成し、同じ計算予算内でより高速な混合を可能にする。
OODのロバスト性,多様性,損失面の解析,ハミルトン・モンテカルロとの比較などの画像分類に関する実験は,提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2025-03-02T02:42:50Z) - Finite-Sample Analysis of Policy Evaluation for Robust Average Reward Reinforcement Learning [50.81240969750462]
我々は、ロバスト平均マルコフ決定過程(PMD)における政策評価の第1次有限サンプル解析を提案する。
頑健なベルマン作用素は、慎重に構築された半ノルムの下で収縮し、制御バイアスを持つフレームワークを開発することを示す。
本手法は,ロバストな政策評価とロバストな平均報酬推定のために,$tildemathcalO(epsilon-2)$のオーダー最適サンプル複雑性を実現する。
論文 参考訳（メタデータ） (2025-02-24T03:55:09Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳（メタデータ） (2022-03-21T14:53:57Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。