論文の概要: A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties

• arxiv url: http://arxiv.org/abs/2402.14532v1
• Date: Thu, 22 Feb 2024 13:24:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 15:02:30.794961
• Title: A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties
• Title（参考訳）: ヘテロセダス性不確かさを持つ軽量ベイズニューラルネットワークの変分推定のための枠組み
• Authors: David J. Schodt, Ryan Brown, Michael Merritt, Samuel Park, Delsin Menolascino, Mark A. Peot
• Abstract要約: 異種性失語症とてんかんのばらつきを学習したBNNパラメータのばらつきに埋め込むことができることを示す。 軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.31457219084519006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Obtaining heteroscedastic predictive uncertainties from a Bayesian Neural Network (BNN) is vital to many applications. Often, heteroscedastic aleatoric uncertainties are learned as outputs of the BNN in addition to the predictive means, however doing so may necessitate adding more learnable parameters to the network. In this work, we demonstrate that both the heteroscedastic aleatoric and epistemic variance can be embedded into the variances of learned BNN parameters, improving predictive performance for lightweight networks. By complementing this approach with a moment propagation approach to inference, we introduce a relatively simple framework for sampling-free variational inference suitable for lightweight BNNs.
• Abstract（参考訳）: ベイジアンニューラルネットワーク(BNN)から異種確率的予測の不確実性を取得することは、多くのアプリケーションにとって不可欠である。 ヘテロシedastic aleatoric uncertaintyは予測手段に加えてbnnの出力として学習されることが多いが、ネットワークにもっと学習可能なパラメータを追加する必要がある。 本研究では,bnnパラメータの分散にヘテロシedastic aleatoric と epistemic variance を組み込むことにより,軽量ネットワークの予測性能を向上させることを実証する。 提案手法をモーメント伝搬手法で補完することにより,軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。

関連論文リスト

• Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
  グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。 しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。 本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2024-03-11T21:54:52Z)
• A Compact Representation for Bayesian Neural Networks By Removing Permutation Symmetry [22.229664343428055]
  置換の役割は、多くの転置計量によって有意に定量化できることを示す。 次に、最近提案されたRebasin法により、HMCサンプルをコンパクトな表現にまとめることができることを示す。 このコンパクトな表現により、サンプル法と変分推論とでトレーニングされたBNNを直接重み空間で比較できることが示される。
  論文  参考訳（メタデータ） (2023-12-31T23:57:05Z)
• Variational Inference for Bayesian Neural Networks under Model and Parameter Uncertainty [12.211659310564425]
  BNNにおける構造学習の枠組みとしてモデル不確実性の概念を適用した。 本稿では,限界包摂確率の再パラメータ化による拡張性のある変分推論手法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T16:38:17Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Tackling covariate shift with node-based Bayesian neural networks [26.64657196802115]
  ノードベースのBNNは、各隠れノードに潜在確率変数を乗じ、重みの点推定を学習することで不確実性を誘導する。 本稿では、これらの潜伏雑音変数を、訓練中の単純およびドメインに依存しないデータ摂動の暗黙的表現として解釈する。
  論文  参考訳（メタデータ） (2022-06-06T08:56:19Z)
• Nonlocal optimization of binary neural networks [0.8379286663107844]
  本稿では,因子グラフ上の離散変数推論問題として,バイナリニューラルネットワーク(BNN)の学習について検討する。 本稿では,現在の定式化の難しさを克服するアルゴリズムを提案する。 BNNの従来の勾配法と比較すると,BPとSPはBNNのパラメータのより優れた構成を求める。
  論文  参考訳（メタデータ） (2022-04-05T02:14:53Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。