論文の概要: Approximate Message Passing for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2501.15573v1
• Date: Sun, 26 Jan 2025 15:58:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:20.055539
• Title: Approximate Message Passing for Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークのための近似メッセージパッシング
• Authors: Romeo Sommerfeld, Christian Helms, Ralf Herbrich,
• Abstract要約: 予測後部を因子グラフとしてモデル化する新しい枠組みを提案する。 我々は,約890kパラメータの畳み込みニューラルネットワークを用いて,CIFAR-10に対するアプローチを評価し,SOTAベースラインと競合できることを見出した。 我々の手法は560万のパラメータにスケールするが、最先端の変分推論手法のスケールと性能にはさらなる改善が必要である。
• 参考スコア（独自算出の注目度）: 0.8192907805418583
• License:
• Abstract: Bayesian neural networks (BNNs) offer the potential for reliable uncertainty quantification and interpretability, which are critical for trustworthy AI in high-stakes domains. However, existing methods often struggle with issues such as overconfidence, hyperparameter sensitivity, and posterior collapse, leaving room for alternative approaches. In this work, we advance message passing (MP) for BNNs and present a novel framework that models the predictive posterior as a factor graph. To the best of our knowledge, our framework is the first MP method that handles convolutional neural networks and avoids double-counting training data, a limitation of previous MP methods that causes overconfidence. We evaluate our approach on CIFAR-10 with a convolutional neural network of roughly 890k parameters and find that it can compete with the SOTA baselines AdamW and IVON, even having an edge in terms of calibration. On synthetic data, we validate the uncertainty estimates and observe a strong correlation (0.9) between posterior credible intervals and its probability of covering the true data-generating function outside the training range. While our method scales to an MLP with 5.6 million parameters, further improvements are necessary to match the scale and performance of state-of-the-art variational inference methods.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、信頼性の高い不確実性定量化と解釈可能性を提供する。 しかし、既存の手法は、過信、過度パラメータ感度、後部崩壊といった問題に苦しむことが多く、代替アプローチの余地は残されている。 本稿では,BNNのメッセージパッシング(MP)を前進させ,予測後部を因子グラフとしてモデル化する新しいフレームワークを提案する。 我々の知る限り、我々のフレームワークは畳み込みニューラルネットワークを処理する最初のMPメソッドであり、過信を引き起こす以前のMPメソッドの制限である二重カウントトレーニングデータを避ける。 我々は,約890kパラメータの畳み込みニューラルネットワークによるCIFAR-10のアプローチを評価し,キャリブレーションの観点からも,SOTAのベースラインであるAdamWとIVONと競合できることを確認した。 合成データでは,不確実性評価を検証し,後方信頼区間間の強い相関(0.9)と,トレーニング範囲外の真のデータ生成関数をカバーする確率を観測する。 我々の手法は560万のパラメータを持つMPPにスケールするが、最先端の変分推論手法のスケールと性能にはさらなる改善が必要である。

関連論文リスト

• Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks [37.69303106863453]
  物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。 本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。 クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
  論文  参考訳（メタデータ） (2023-11-04T19:40:16Z)
• BayesNetCNN: incorporating uncertainty in neural networks for image-based classification tasks [0.29005223064604074]
  本稿では,標準的なニューラルネットワークをベイズニューラルネットワークに変換する手法を提案する。 本研究では,各前方パスにおいて,元のものと類似した異なるネットワークをサンプリングすることにより,予測のばらつきを推定する。 我々は、アルツハイマー病患者の脳画像の大きなコホートを用いて、我々のモデルを検証した。
  論文  参考訳（メタデータ） (2022-09-27T01:07:19Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。