論文の概要: Prior choice affects ability of Bayesian neural networks to identify unknowns

• arxiv url: http://arxiv.org/abs/2005.04987v1
• Date: Mon, 11 May 2020 10:32:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 19:16:15.241529
• Title: Prior choice affects ability of Bayesian neural networks to identify unknowns
• Title（参考訳）: 事前選択は未知を識別するベイズニューラルネットワークの能力に影響を及ぼす
• Authors: Daniele Silvestro and Tobias Andermann
• Abstract要約: 我々は、事前の選択がモデルが正しいクラスにデータを確実に割り当てる能力に重大な影響を与えることを示す。 また,BNNの性能向上のための代替オプションについても検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Bayesian neural networks (BNNs) are a powerful tool, though computationally demanding, to perform parameter estimation while jointly estimating uncertainty around predictions. BNNs are typically implemented using arbitrary normal-distributed prior distributions on the model parameters. Here, we explore the effects of different prior distributions on classification tasks in BNNs and evaluate the evidence supporting the predictions based on posterior probabilities approximated by Markov Chain Monte Carlo sampling and by computing Bayes factors. We show that the choice of priors has a substantial impact on the ability of the model to confidently assign data to the correct class (true positive rates). Prior choice also affects significantly the ability of a BNN to identify out-of-distribution instances as unknown (false positive rates). When comparing our results against neural networks (NN) with Monte Carlo dropout we found that BNNs generally outperform NNs. Finally, in our tests we did not find a single best choice as prior distribution. Instead, each dataset yielded the best results under a different prior, indicating that testing alternative options can improve the performance of BNNs.
• Abstract（参考訳）: ディープベイズニューラルネットワーク(BNN)は、予測に関する不確実性を共同で推定しながらパラメータ推定を行うために、計算的に要求される強力なツールである。 bnnは通常、モデルパラメータの任意の正規分布の事前分布を用いて実装される。 本稿では,bnnの分類タスクにおける異なる事前分布の影響を調査し,マルコフ連鎖モンテカルロサンプリングおよびベイズ係数の計算により近似された後確率に基づいて予測を支持する証拠を評価する。 我々は,事前選択が,モデルが正しいクラス(真の正の率)にデータを確実に割り当てる能力に重大な影響を与えることを示す。 事前選択は、BNNが配布外インスタンスを未知(偽陽性率)に識別する能力にも大きく影響する。 ニューラルネットワーク(NN)とモンテカルロのドロップアウトを比較してみると、BNNは一般的にNNよりも優れています。 最後に、テストでは、事前配布としてベストな選択がひとつも見つからなかったのです。 代わりに、各データセットは、異なる事前条件下で最高の結果を得ることができ、代替オプションのテストがBNNのパフォーマンスを改善する可能性があることを示している。

関連論文リスト

• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks [37.69303106863453]
  物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。 本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。 クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
  論文  参考訳（メタデータ） (2023-11-04T19:40:16Z)
• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Constraining cosmological parameters from N-body simulations with Variational Bayesian Neural Networks [0.0]
  乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。 我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。 MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
  論文  参考訳（メタデータ） (2023-01-09T16:07:48Z)
• Debiased Graph Neural Networks with Agnostic Label Selection Bias [59.61301255860836]
  既存のグラフニューラルネットワーク(GNN)のほとんどは、データの選択バイアスを考慮せずに提案されている。 本稿では,デコリレーションレギュレータを区別した新しいデバイアスドグラフニューラルネットワーク(DGNN)を提案する。 DGNNは既存のGNNを強化するフレキシブルなフレームワークである。
  論文  参考訳（メタデータ） (2022-01-19T16:50:29Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• pseudo-Bayesian Neural Networks for detecting Out of Distribution Inputs [12.429095025814345]
  重みよりも分布を学習する代わりに、推定時に点推定と摂動重みを用いる擬似BNNを提案する。 全体として、この組み合わせは、推論時にOODサンプルを検出するという原則的な手法をもたらす。
  論文  参考訳（メタデータ） (2021-02-02T06:23:04Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Bayesian x-vector: Bayesian Neural Network based x-vector System for Speaker Verification [71.45033077934723]
  我々はディープニューラルネットワーク(DNN)xベクトル話者検証システムにベイズニューラルネットワーク(BNN)を組み込む。 BNNによって提供される重みの不確実性モデリングにより、システムは評価データにより良い一般化を期待できる。 その結果、BNNの相対的なEERの2.66%と2.32%の減少により、短文と短文のドメイン評価が可能であることが判明した。
  論文  参考訳（メタデータ） (2020-04-08T14:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。