論文の概要: Variational Neural Networks
- arxiv url: http://arxiv.org/abs/2207.01524v1
- Date: Mon, 4 Jul 2022 15:41:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 19:06:49.782145
- Title: Variational Neural Networks
- Title（参考訳）: 変動型ニューラルネットワーク
- Authors: Illia Oleksiienko, Dat Thanh Tran and Alexandros Iosifidis
- Abstract要約: 本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
- 参考スコア（独自算出の注目度）: 88.24021148516319
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian Neural Networks (BNNs) provide a tool to estimate the uncertainty of
a neural network by considering a distribution over weights and sampling
different models for each input. In this paper, we propose a method for
uncertainty estimation in neural networks called Variational Neural Network
that, instead of considering a distribution over weights, generates parameters
for the output distribution of a layer by transforming its inputs with
learnable sub-layers. In uncertainty quality estimation experiments, we show
that VNNs achieve better uncertainty quality than Monte Carlo Dropout or Bayes
By Backpropagation methods.
- Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、重みの分布を考慮し、入力毎に異なるモデルをサンプリングすることにより、ニューラルネットワークの不確かさを推定するツールを提供する。
本稿では,重みの分布を考慮せず,学習可能なサブレイヤで入力を変換して,レイヤの出力分布のパラメータを生成する,変動ニューラルネットワークと呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
不確実性品質推定実験において,vnnはモンテカルロドロップアウトやベイズよりも,バックプロパゲーション法により良好な不確実性品質が得られることを示した。
関連論文リスト
- An Analytic Solution to Covariance Propagation in Neural Networks [10.013553984400488]
本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,サンプルフリーモーメント伝搬法を提案する。
この手法の鍵となる有効性は、非線形活性化関数を通した確率変数の共分散に対する解析解である。
学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。
論文 参考訳（メタデータ） (2024-03-24T14:08:24Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Understanding Weight Similarity of Neural Networks via Chain
Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。
まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。
ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
論文 参考訳（メタデータ） (2022-08-08T19:11:03Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。
出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。
これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
論文 参考訳（メタデータ） (2021-10-03T07:29:57Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - pseudo-Bayesian Neural Networks for detecting Out of Distribution Inputs [12.429095025814345]
重みよりも分布を学習する代わりに、推定時に点推定と摂動重みを用いる擬似BNNを提案する。
全体として、この組み合わせは、推論時にOODサンプルを検出するという原則的な手法をもたらす。
論文 参考訳（メタデータ） (2021-02-02T06:23:04Z) - Scalable Bayesian neural networks by layer-wise input augmentation [20.279668821097918]
ディープラーニングにおける不確実性表現のためのシンプルでスケーラブルなアプローチである暗黙のベイズニューラルネットワークを導入する。
大規模・マルチミリオンパラメータ画像分類タスクにおけるキャリブレーション,ロバスト性,不確実性特性の両面から,適切な入力分布を示し,最先端性能を示す。
論文 参考訳（メタデータ） (2020-10-26T11:45:19Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。