論文の概要: Variational Inference for Bayesian Neural Networks under Model and
Parameter Uncertainty
- arxiv url: http://arxiv.org/abs/2305.00934v1
- Date: Mon, 1 May 2023 16:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 12:45:32.352003
- Title: Variational Inference for Bayesian Neural Networks under Model and
Parameter Uncertainty
- Title(参考訳): モデルとパラメータの不確かさを考慮したベイズニューラルネットワークの変分推論
- Authors: Aliaksandr Hubin and Geir Storvik
- Abstract要約: BNNにおける構造学習の枠組みとしてモデル不確実性の概念を適用した。
本稿では,限界包摂確率の再パラメータ化による拡張性のある変分推論手法を提案する。
- 参考スコア(独自算出の注目度): 12.211659310564425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian neural networks (BNNs) have recently regained a significant amount
of attention in the deep learning community due to the development of scalable
approximate Bayesian inference techniques. There are several advantages of
using a Bayesian approach: Parameter and prediction uncertainties become easily
available, facilitating rigorous statistical analysis. Furthermore, prior
knowledge can be incorporated. However, so far, there have been no scalable
techniques capable of combining both structural and parameter uncertainty. In
this paper, we apply the concept of model uncertainty as a framework for
structural learning in BNNs and hence make inference in the joint space of
structures/models and parameters. Moreover, we suggest an adaptation of a
scalable variational inference approach with reparametrization of marginal
inclusion probabilities to incorporate the model space constraints.
Experimental results on a range of benchmark datasets show that we obtain
comparable accuracy results with the competing models, but based on methods
that are much more sparse than ordinary BNNs.
- Abstract(参考訳): ベイズニューラルネットワーク(BNN)は、スケーラブルな近似ベイズ推論技術の開発により、最近、ディープラーニングコミュニティでかなりの注目を集めている。
ベイズアプローチを使う利点はいくつかある: パラメータと予測の不確かさが容易に利用可能になり、厳密な統計分析が容易になる。
さらに、事前知識を組み込むこともできる。
しかし、これまでのところ、構造的不確実性とパラメータ的不確実性の両方を組み合わせられるスケーラブルな技術は存在していない。
本稿では,BNNにおける構造学習の枠組みとしてモデル不確実性の概念を適用し,構造モデルとパラメータの結合空間における推論を行う。
さらに,モデル空間制約を組み込むための限界包摂確率の再パラメータ化によるスケーラブルな変分推論手法の適応を提案する。
ベンチマークデータセットにおける実験の結果から, 従来のbnnに比べてはるかに少ない手法を用いて, 競合するモデルと同等の精度が得られることがわかった。
関連論文リスト
- A Framework for Variational Inference of Lightweight Bayesian Neural
Networks with Heteroscedastic Uncertainties [0.31457219084519006]
異種性失語症とてんかんのばらつきを学習したBNNパラメータのばらつきに埋め込むことができることを示す。
軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-22T13:24:43Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳(メタデータ) (2024-01-25T09:18:51Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference [50.91823345296243]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳(メタデータ) (2023-12-10T15:22:30Z) - Uncertainty Quantification in Multivariable Regression for Material
Property Prediction with Bayesian Neural Networks [39.58317527488534]
物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。
本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。
クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
論文 参考訳(メタデータ) (2023-11-04T19:40:16Z) - Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。
補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。
次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文 参考訳(メタデータ) (2023-09-06T14:02:33Z) - Posterior Regularized Bayesian Neural Network Incorporating Soft and
Hard Knowledge Constraints [12.050265348673078]
本稿では,異なる種類の知識制約を組み込んだ後正規化ベイズニューラルネットワーク(PR-BNN)モデルを提案する。
航空機着陸予測と太陽エネルギー出力予測のシミュレーション実験と2つのケーススタディにより,提案モデルの知識制約と性能改善が示された。
論文 参考訳(メタデータ) (2022-10-16T18:58:50Z) - A Variational Bayesian Approach to Learning Latent Variables for
Acoustic Knowledge Transfer [55.20627066525205]
本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。
我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
論文 参考訳(メタデータ) (2021-10-16T15:54:01Z) - Calibration and Uncertainty Quantification of Bayesian Convolutional
Neural Networks for Geophysical Applications [0.0]
このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。
一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。
ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
論文 参考訳(メタデータ) (2021-05-25T17:54:23Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳(メタデータ) (2020-10-18T16:55:25Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。