論文の概要: Compact Bayesian Neural Networks via pruned MCMC sampling
- arxiv url: http://arxiv.org/abs/2501.06962v1
- Date: Sun, 12 Jan 2025 22:48:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:27:53.539729
- Title: Compact Bayesian Neural Networks via pruned MCMC sampling
- Title（参考訳）: プルーニングMCMCサンプリングによるコンパクトベイズニューラルネットワーク
- Authors: Ratneel Deo, Scott Sisson, Jody M. Webster, Rohitash Chandra,
- Abstract要約: ベイズニューラルネットワーク(BNN)は、モデル予測において堅牢な不確実性定量化を提供するが、それらのトレーニングは重要な計算課題を示す。
本研究では,MCMCサンプリングとネットワークプルーニングを併用して,コンパクトな確率モデルを得るという課題に対処する。
モデルトレーニングと一般化性能を保ちながら, 後続分布による不確実性を推定する能力は, コンパクトBNNが維持可能であることを保証する。
- 参考スコア（独自算出の注目度）: 0.16777183511743468
- License:
- Abstract: Bayesian Neural Networks (BNNs) offer robust uncertainty quantification in model predictions, but training them presents a significant computational challenge. This is mainly due to the problem of sampling multimodal posterior distributions using Markov Chain Monte Carlo (MCMC) sampling and variational inference algorithms. Moreover, the number of model parameters scales exponentially with additional hidden layers, neurons, and features in the dataset. Typically, a significant portion of these densely connected parameters are redundant and pruning a neural network not only improves portability but also has the potential for better generalisation capabilities. In this study, we address some of the challenges by leveraging MCMC sampling with network pruning to obtain compact probabilistic models having removed redundant parameters. We sample the posterior distribution of model parameters (weights and biases) and prune weights with low importance, resulting in a compact model. We ensure that the compact BNN retains its ability to estimate uncertainty via the posterior distribution while retaining the model training and generalisation performance accuracy by adapting post-pruning resampling. We evaluate the effectiveness of our MCMC pruning strategy on selected benchmark datasets for regression and classification problems through empirical result analysis. We also consider two coral reef drill-core lithology classification datasets to test the robustness of the pruning model in complex real-world datasets. We further investigate if refining compact BNN can retain any loss of performance. Our results demonstrate the feasibility of training and pruning BNNs using MCMC whilst retaining generalisation performance with over 75% reduction in network size. This paves the way for developing compact BNN models that provide uncertainty estimates for real-world applications.
- Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、モデル予測において堅牢な不確実性定量化を提供するが、それらのトレーニングは重要な計算課題を示す。
これは主にマルコフ・チェイン・モンテカルロ(MCMC)サンプリングと変分推論アルゴリズムを用いた多重モード後部分布のサンプリングの問題に起因する。
さらに、モデルパラメータの数は、データセット内の追加の隠れレイヤ、ニューロン、特徴とともに指数関数的にスケールする。
一般的に、これらの密結合されたパラメータのかなりの部分は冗長であり、ニューラルネットワークをプルーニングすることでポータビリティが向上するだけでなく、より良い一般化能力を持つ可能性がある。
本研究では、MCMCサンプリングとネットワークプルーニングを併用して、冗長パラメータを除去したコンパクト確率モデルを得る際の課題について述べる。
モデルパラメータ(重みと偏り)とプルーンの重み(重みと偏り)の後方分布を低重要性でサンプリングし,コンパクトなモデルとした。
モデルトレーニングと一般化性能を保ちながら, 後続分布による不確実性を推定する能力は, コンパクトBNNが維持可能であることを保証する。
実験結果分析により, 回帰および分類問題に対するベンチマークデータセットの選択に対するMCMCプルーニング戦略の有効性を評価した。
また、2つのサンゴ礁掘削コアリソロジー分類データセットも検討し、複雑な実世界のデータセットにおけるプルーニングモデルの堅牢性を検証した。
さらに,コンパクトBNNの精細化が性能の損失を抑えることができるかどうかについても検討する。
その結果,ネットワークサイズを75%以上削減した一般化性能を維持しつつ,MCMCを用いたBNNの訓練および刈取の可能性を示した。
これにより、実世界のアプリケーションに対して不確実性推定を提供するコンパクトなBNNモデルの開発方法が舗装される。
関連論文リスト
- Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。
ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
論文 参考訳（メタデータ） (2024-09-27T16:02:12Z) - Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。
崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。
提案手法は, スケーラビリティと精度のバランスをとる。
論文 参考訳（メタデータ） (2023-06-16T08:34:42Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Constraining cosmological parameters from N-body simulations with
Variational Bayesian Neural Networks [0.0]
乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。
我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。
MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
論文 参考訳（メタデータ） (2023-01-09T16:07:48Z) - Data Subsampling for Bayesian Neural Networks [0.0]
Penalty Bayesian Neural Networks - PBNNは,サブサンプルバッチデータによる可能性の評価を可能にする,新たなアルゴリズムである。
PBNNは,データサイズが小さい場合でも,予測性能が良好であることを示す。
論文 参考訳（メタデータ） (2022-10-17T14:43:35Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Know Where To Drop Your Weights: Towards Faster Uncertainty Estimation [7.605814048051737]
低レイテンシアプリケーションで使用されるモデルの不確かさを推定することは、不確実性推定技術が計算的に要求される性質のためである。
本稿では、ニューラルネットワークのサブセットを用いてMCDCの不確実性をモデル化するSelect-DCを提案する。
我々は,不確実性をモデル化するためにGFLOPSをモンテカルロDropConnectと比較して大幅に削減し,性能の限界トレードオフを示した。
論文 参考訳（メタデータ） (2020-10-27T02:56:27Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。