論文の概要: Simple and Principled Uncertainty Estimation with Deterministic Deep
Learning via Distance Awareness
- arxiv url: http://arxiv.org/abs/2006.10108v2
- Date: Mon, 26 Oct 2020 02:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:51:59.632782
- Title: Simple and Principled Uncertainty Estimation with Deterministic Deep
Learning via Distance Awareness
- Title（参考訳）: 距離認識による決定論的深層学習による簡便かつ原理的不確かさ推定
- Authors: Jeremiah Zhe Liu, Zi Lin, Shreyas Padhy, Dustin Tran, Tania
Bedrax-Weiss, Balaji Lakshminarayanan
- Abstract要約: 単一ディープニューラルネットワーク(DNN)のみを必要とする高品質不確実性推定の原理的アプローチについて検討する。
この不確実性定量化を最小限の学習問題として定式化することにより、まず入力空間内のトレーニングデータから試験例の距離を定量化する入力距離認識を同定する。
次に, スペクトル正規化ニューラルガウス過程 (SNGP) を提案する。
- 参考スコア（独自算出の注目度）: 24.473250414880454
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian neural networks (BNN) and deep ensembles are principled approaches
to estimate the predictive uncertainty of a deep learning model. However their
practicality in real-time, industrial-scale applications are limited due to
their heavy memory and inference cost. This motivates us to study principled
approaches to high-quality uncertainty estimation that require only a single
deep neural network (DNN). By formalizing the uncertainty quantification as a
minimax learning problem, we first identify input distance awareness, i.e., the
model's ability to quantify the distance of a testing example from the training
data in the input space, as a necessary condition for a DNN to achieve
high-quality (i.e., minimax optimal) uncertainty estimation. We then propose
Spectral-normalized Neural Gaussian Process (SNGP), a simple method that
improves the distance-awareness ability of modern DNNs, by adding a weight
normalization step during training and replacing the output layer with a
Gaussian process. On a suite of vision and language understanding tasks and on
modern architectures (Wide-ResNet and BERT), SNGP is competitive with deep
ensembles in prediction, calibration and out-of-domain detection, and
outperforms the other single-model approaches.
- Abstract（参考訳）: ベイズニューラルネットワーク(bnn)とディープアンサンブル(deep ensemble)は、ディープラーニングモデルの予測の不確かさを推定するための原則的なアプローチである。
しかし, リアルタイム, 産業規模のアプリケーションでは, 大量のメモリと推論コストのため, 実用性は限られている。
これは、単一のディープニューラルネットワーク(dnn)のみを必要とする高品質の不確実性推定に対する原則的アプローチを研究する動機となっている。
この不確実性定量化をミニマックス学習問題として定式化することにより、まず入力空間内のトレーニングデータからテストサンプルの距離を定量化し、DNNが高品質な(つまり、最小限の)不確実性推定を実現するために必要な条件として、入力距離認識を同定する。
次に、トレーニング中に重み正規化ステップを追加し、出力層をガウス過程に置き換えることにより、現代のDNNの距離認識能力を向上させる簡単な手法であるスペクトル正規化ニューラルガウス過程(SNGP)を提案する。
ビジョンと言語理解タスクのスイートとモダンアーキテクチャ(Wide-ResNetとBERT)では、SNGPは予測、校正、ドメイン外検出において深いアンサンブルと競合し、他の単一モデルアプローチよりも優れています。
関連論文リスト
- An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。
本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
論文 参考訳（メタデータ） (2023-07-29T06:27:28Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - A Simple Approach to Improve Single-Model Deep Uncertainty via
Distance-Awareness [33.09831377640498]
本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。
本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。
ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
論文 参考訳（メタデータ） (2022-05-01T05:46:13Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳（メタデータ） (2022-01-14T06:42:42Z) - Distributional Gradient Matching for Learning Uncertain Neural Dynamics
Models [38.17499046781131]
本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。
我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。
数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
論文 参考訳（メタデータ） (2021-06-22T08:40:51Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。