論文の概要: Uncertainty Quantification in Deep Residual Neural Networks
- arxiv url: http://arxiv.org/abs/2007.04905v1
- Date: Thu, 9 Jul 2020 16:05:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 04:53:18.984266
- Title: Uncertainty Quantification in Deep Residual Neural Networks
- Title（参考訳）: 深層残留ニューラルネットワークにおける不確かさの定量化
- Authors: Lukasz Wandzik, Raul Vicente Garcia, J\"org Kr\"uger
- Abstract要約: 不確かさの定量化は、ディープラーニングにおいて重要で困難な問題である。
以前の方法は、現代のディープアーキテクチャやバッチサイズに敏感なバッチ正規化には存在しないドロップアウト層に依存していた。
本研究では,ニューラルネットワークの後方重みに対する変動近似として,深度を用いた残留ネットワークのトレーニングが可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty quantification is an important and challenging problem in deep
learning. Previous methods rely on dropout layers which are not present in
modern deep architectures or batch normalization which is sensitive to batch
sizes. In this work, we address the problem of uncertainty quantification in
deep residual networks by using a regularization technique called stochastic
depth. We show that training residual networks using stochastic depth can be
interpreted as a variational approximation to the intractable posterior over
the weights in Bayesian neural networks. We demonstrate that by sampling from a
distribution of residual networks with varying depth and shared weights,
meaningful uncertainty estimates can be obtained. Moreover, compared to the
original formulation of residual networks, our method produces well-calibrated
softmax probabilities with only minor changes to the network's structure. We
evaluate our approach on popular computer vision datasets and measure the
quality of uncertainty estimates. We also test the robustness to domain shift
and show that our method is able to express higher predictive uncertainty on
out-of-distribution samples. Finally, we demonstrate how the proposed approach
could be used to obtain uncertainty estimates in facial verification
applications.
- Abstract（参考訳）: 不確実性定量化はディープラーニングにおいて重要かつ困難な問題である。
以前の方法は、現代のディープアーキテクチャやバッチサイズに敏感なバッチ正規化には存在しないドロップアウト層に依存していた。
本研究では, 確率深度と呼ばれる正規化手法を用いて, ディープ残差ネットワークにおける不確実性定量化の問題に対処する。
確率的深度を用いた残差ネットワークのトレーニングは、ベイズニューラルネットワークの重みに対する難解な後部への変動近似として解釈できることを示す。
深さと共有重みの異なる残差ネットワークの分布からサンプリングすることで,有意義な不確実性推定が得られることを示す。
さらに, 残差ネットワークの元々の定式化と比較して, ネットワーク構造にわずかな変更を加えるだけで十分なソフトマックス確率を生成する。
我々は,一般的なコンピュータビジョンデータセットに対するアプローチを評価し,不確実性評価の質を計測する。
また,領域シフトに対するロバスト性をテストし,分布外サンプルに対して高い予測不確実性を示すことができることを示した。
最後に,提案手法を用いて顔認証アプリケーションにおける不確実性推定を行う方法を示す。
関連論文リスト
- Cycle Consistency-based Uncertainty Quantification of Neural Networks in
Inverse Imaging Problems [10.992084413881592]
ディープニューラルネットワークの多くの応用には不確実性推定が不可欠である。
サイクル整合性に基づく逆問題に使用されるディープニューラルネットワークに対する不確実性定量化手法を示す。
論文 参考訳（メタデータ） (2023-05-22T09:23:18Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Depth Uncertainty in Neural Networks [2.6763498831034043]
ディープラーニングにおける不確実性を推定する既存の方法は、複数の前方パスを必要とする傾向がある。
フィードフォワードネットワークのシーケンシャルな構造を利用することで、トレーニング目標を評価し、単一のフォワードパスで予測を行うことができる。
実世界の回帰と画像分類タスクに対する我々のアプローチを検証する。
論文 参考訳（メタデータ） (2020-06-15T14:33:40Z) - Uncertainty-Aware CNNs for Depth Completion: Uncertainty from Beginning
to End [18.49954482336334]
本稿では, 疎雑音入力から最終予測まで, 深度データの不確かさのモデル化に着目する。
正規化畳み込みニューラルネットワーク(NCNN)に基づく自己教師型入力信頼度推定器を学習し,入力中の乱れの測定値を特定する手法を提案する。
深度推定のためのKITTIデータセットに対するアプローチを評価すると、予測精度、不確実性尺度の品質、計算効率の点で既存のベイズディープラーニングアプローチよりも優れています。
論文 参考訳（メタデータ） (2020-06-05T10:18:35Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z) - Variational Depth Search in ResNets [2.6763498831034043]
ワンショットのニューラルアーキテクチャサーチにより、ウェイトとネットワークアーキテクチャの合同学習が可能になり、計算コストが削減される。
探索空間を残差ネットワークの深さに制限し、解析的に抽出可能な変分目的を定式化し、1ショットで近似された奥行きの奥行きの偏りを許容する。
MNIST, Fashion-MNIST, SVHNデータセットのネットワーク深度を手動で探索する手法の比較を行った。
論文 参考訳（メタデータ） (2020-02-06T16:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。