Fugu-MT 論文翻訳(概要): Scalable Bayesian neural networks by layer-wise input augmentation

論文の概要: Scalable Bayesian neural networks by layer-wise input augmentation

arxiv url: http://arxiv.org/abs/2010.13498v1
Date: Mon, 26 Oct 2020 11:45:19 GMT
ステータス: 処理完了
システム内更新日: 2022-10-02 18:13:10.288158
Title: Scalable Bayesian neural networks by layer-wise input augmentation
Title（参考訳）: 層ワイド入力強化によるスケーラブルベイズニューラルネットワーク
Authors: Trung Trinh, Samuel Kaski, Markus Heinonen
Abstract要約: ディープラーニングにおける不確実性表現のためのシンプルでスケーラブルなアプローチである暗黙のベイズニューラルネットワークを導入する。大規模・マルチミリオンパラメータ画像分類タスクにおけるキャリブレーション,ロバスト性,不確実性特性の両面から,適切な入力分布を示し,最先端性能を示す。
参考スコア（独自算出の注目度）: 20.279668821097918
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce implicit Bayesian neural networks, a simple and scalable approach for uncertainty representation in deep learning. Standard Bayesian approach to deep learning requires the impractical inference of the posterior distribution over millions of parameters. Instead, we propose to induce a distribution that captures the uncertainty over neural networks by augmenting each layer's inputs with latent variables. We present appropriate input distributions and demonstrate state-of-the-art performance in terms of calibration, robustness and uncertainty characterisation over large-scale, multi-million parameter image classification tasks.
Abstract（参考訳）: 深層学習における不確実性表現のためのシンプルでスケーラブルなアプローチである暗黙のベイズニューラルネットワークを導入する。ディープラーニングに対する標準的なベイズ的アプローチは、数百万のパラメータに対する後方分布の非実用的推論を必要とする。代わりに,各レイヤの入力を潜在変数で強化することにより,ニューラルネットワーク上の不確実性をキャプチャする分布を誘導する。大規模・マルチミリオンパラメータ画像分類タスクにおけるキャリブレーション,ロバスト性,不確実性特性の両面から,適切な入力分布を示し,最先端性能を示す。

関連論文リスト

An Analytic Solution to Covariance Propagation in Neural Networks [10.013553984400488]
本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,サンプルフリーモーメント伝搬法を提案する。この手法の鍵となる有効性は、非線形活性化関数を通した確率変数の共分散に対する解析解である。学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。
論文参考訳（メタデータ） (2024-03-24T14:08:24Z)
On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。ニューラルネットワークの後部分布からサンプルを生成することは大きな課題ですこの方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
論文参考訳（メタデータ） (2024-03-13T15:21:14Z)
Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文参考訳（メタデータ） (2023-12-28T18:33:26Z)
Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文参考訳（メタデータ） (2023-10-10T14:06:56Z)
Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文参考訳（メタデータ） (2022-07-04T15:41:02Z)
NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文参考訳（メタデータ） (2022-02-07T12:30:45Z)
Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文参考訳（メタデータ） (2021-04-13T12:20:18Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee [20.294908538266867]
スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
論文参考訳（メタデータ） (2020-11-15T03:27:54Z)
Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。