論文の概要: A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness

• arxiv url: http://arxiv.org/abs/2205.00403v1
• Date: Sun, 1 May 2022 05:46:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 05:44:56.260718
• Title: A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness
• Title（参考訳）: 距離認識による単一モデル深部不確かさの簡易化
• Authors: Jeremiah Zhe Liu, Shreyas Padhy, Jie Ren, Zi Lin, Yeming Wen, Ghassen Jerfel, Zack Nado, Jasper Snoek, Dustin Tran, Balaji Lakshminarayanan
• Abstract要約: 本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
• 参考スコア（独自算出の注目度）: 33.09831377640498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines
• Abstract（参考訳）: ニューラルネットワークは過信エラーを犯し、アウト・オブ・ディストリビューション(OOD)入力に高い信頼性の予測を割り当てることができるため、ディープラーニングにおける正確な不確実性定量化は大きな課題である。 ディープラーニングにおける予測の不確実性を推定する最も一般的なアプローチは、ベイズニューラルネットワーク(BNN)やディープアンサンブルなどの複数のニューラルネットワークからの予測を組み合わせる方法である。 しかし, リアルタイム, 産業用アプリケーションにおける実用性は, 高いメモリと計算コストのために制限されている。 さらに、アンサンブルやBNNは、基盤となるメンバーネットワークのすべての問題を必ずしも解決しない。 本研究では,一つの決定論的表現に基づいて,単一ネットワークの不確実性を改善するための原理的手法について検討する。 この不確実性定量化を最小限の学習問題として定式化することにより、DNNが高品質な(最小限の最適)不確実性推定を実現するために必要な条件として、モデルがトレーニングデータからテスト例の距離を定量化する能力、すなわち、距離認識を識別する。 次に,スペクトル正規化ニューラルガウス過程 (SNGP) を提案する。これは,(1)隠れ重みにスペクトル正規化を適用して表現にバイリプシッツの滑らかさを強制し,(2)最後の出力層をガウスのプロセス層に置き換える,という2つの簡単な方法である。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。 さらに、SNGPはディープアンサンブルやデータ拡張といった一般的なテクニックに補完的な利点を提供し、確率的ディープラーニングのためのシンプルでスケーラブルなビルディングブロックである。 コードはhttps://github.com/google/uncertainty-baselinesでオープンソース化される

関連論文リスト

• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
  ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。 新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。 モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
  論文  参考訳（メタデータ） (2022-01-14T06:42:42Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
  既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。 これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。 我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-10T23:28:36Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Simple and Principled Uncertainty Estimation with Deterministic Deep Learning via Distance Awareness [24.473250414880454]
  単一ディープニューラルネットワーク(DNN)のみを必要とする高品質不確実性推定の原理的アプローチについて検討する。 この不確実性定量化を最小限の学習問題として定式化することにより、まず入力空間内のトレーニングデータから試験例の距離を定量化する入力距離認識を同定する。 次に, スペクトル正規化ニューラルガウス過程 (SNGP) を提案する。
  論文  参考訳（メタデータ） (2020-06-17T19:18:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。