論文の概要: Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2505.03797v1
- Date: Thu, 01 May 2025 20:05:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-08 19:07:35.81742
- Title: Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks
- Title（参考訳）: 逐次モンテカルロサンプリングを用いた部分ベイズニューラルネットワークのトレーニング
- Authors: Andrew Millard, Joshua Murphy, Simon Maskell, Zheng Zhao,
- Abstract要約: 部分ベイズニューラルネットワーク(pBNN)は完全にベイズニューラルネットワークと競合することが示されている。
我々は、ガイド付き提案を活用し、勾配ベースのMarkovカーネルを組み込むことにより、新しいSMCベースのpBNNトレーニング手法を提案する。
提案手法は,予測性能と最適損失の点で最先端の手法より優れていることを示す。
- 参考スコア（独自算出の注目度）: 3.2254941904559917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Partial Bayesian neural networks (pBNNs) have been shown to perform competitively with fully Bayesian neural networks while only having a subset of the parameters be stochastic. Using sequential Monte Carlo (SMC) samplers as the inference method for pBNNs gives a non-parametric probabilistic estimation of the stochastic parameters, and has shown improved performance over parametric methods. In this paper we introduce a new SMC-based training method for pBNNs by utilising a guided proposal and incorporating gradient-based Markov kernels, which gives us better scalability on high dimensional problems. We show that our new method outperforms the state-of-the-art in terms of predictive performance and optimal loss. We also show that pBNNs scale well with larger batch sizes, resulting in significantly reduced training times and often better performance.
- Abstract（参考訳）: 部分ベイズニューラルネットワーク(pBNN)は完全なベイズニューラルネットワークと競合し、パラメータのサブセットは確率的である。
連続モンテカルロ(SMC)サンプリング器をpBNNの推論法として使用することにより,確率パラメータの非パラメトリック確率推定が可能となり,パラメトリック法よりも性能が向上した。
本稿では,高次元問題に対するより優れたスケーラビリティを実現するため,ガイド付き提案と勾配型マルコフカーネルを取り入れた新しいSMCベースのpBNNトレーニング手法を提案する。
提案手法は,予測性能と最適損失の点で最先端の手法より優れていることを示す。
また、pBNNはバッチサイズが大きくなり、トレーニング時間が大幅に短縮され、性能が向上することを示した。
関連論文リスト
- Parameter Expanded Stochastic Gradient Markov Chain Monte Carlo [32.46884330460211]
グラディエント・マルコフ・チェイン・モンテカルロにおけるサンプルの多様性を高めるための単純かつ効果的な手法を提案する。
このアプローチはより多様なサンプルセットを生成し、同じ計算予算内でより高速な混合を可能にする。
OODのロバスト性,多様性,損失面の解析,ハミルトン・モンテカルロとの比較などの画像分類に関する実験は,提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2025-03-02T02:42:50Z) - On Feynman--Kac training of partial Bayesian neural networks [1.6474447977095783]
部分ベイズニューラルネットワーク(pBNN)は、完全なベイズニューラルネットワークと競合することが示されている。
本稿では,Feynman-Kacモデルのシミュレーションとして,pBNNのトレーニングを定式化した効率的なサンプリングベーストレーニング戦略を提案する。
提案手法は, 予測性能において, 技術状況よりも優れることを示す。
論文 参考訳（メタデータ） (2023-10-30T15:03:15Z) - Data Subsampling for Bayesian Neural Networks [0.0]
Penalty Bayesian Neural Networks - PBNNは,サブサンプルバッチデータによる可能性の評価を可能にする,新たなアルゴリズムである。
PBNNは,データサイズが小さい場合でも,予測性能が良好であることを示す。
論文 参考訳（メタデータ） (2022-10-17T14:43:35Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。
アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
論文 参考訳（メタデータ） (2020-08-25T15:48:15Z) - Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文 参考訳（メタデータ） (2020-06-07T07:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。