論文の概要: Density-Softmax: Scalable and Calibrated Uncertainty Estimation under
Distribution Shifts
- arxiv url: http://arxiv.org/abs/2302.06495v2
- Date: Tue, 13 Jun 2023 15:13:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 17:43:58.674069
- Title: Density-Softmax: Scalable and Calibrated Uncertainty Estimation under
Distribution Shifts
- Title(参考訳): 密度ソフトマックス:分布シフトによる拡張性と校正不確かさ推定
- Authors: Ha Manh Bui, Anqi Liu
- Abstract要約: 密度-ソフトマックスは、キャリブレーションされた不確実性推定を改善するための高速で軽量な決定論的手法である。
ニューラルネットワークを用いて,密度-ソフトマックスが高品質な不確実性を推定できることを示す。
- 参考スコア(独自算出の注目度): 8.02980715531745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prevalent deterministic deep-learning models suffer from significant
over-confidence under distribution shifts. Probabilistic approaches can reduce
this problem but struggle with computational efficiency. In this paper, we
propose Density-Softmax, a fast and lightweight deterministic method to improve
calibrated uncertainty estimation via a combination of density function with
the softmax layer. By using the latent representation's likelihood value, our
approach produces more uncertain predictions when test samples are distant from
the training samples. Theoretically, we show that Density-Softmax can produce
high-quality uncertainty estimation with neural networks, as it is the solution
of minimax uncertainty risk and is distance-aware, thus reducing the
over-confidence of the standard softmax. Empirically, our method enjoys similar
computational efficiency as a single forward pass deterministic with standard
softmax on the shifted toy, vision, and language datasets across modern
deep-learning architectures. Notably, Density-Softmax uses 4 times fewer
parameters than Deep Ensembles and 6 times lower latency than Rank-1 Bayesian
Neural Network, while obtaining competitive predictive performance and lower
calibration errors under distribution shifts.
- Abstract(参考訳): 決定論的深層学習モデルは、分布シフトの下でかなりの過信に悩まされる。
確率論的アプローチはこの問題を軽減できるが、計算効率に苦慮する。
本稿では,密度関数とソフトマックス層の組み合わせによる校正不確かさ推定を改善するために,高速かつ軽量な決定法である密度-ソフトマックスを提案する。
潜在表現の確率値を用いて,テストサンプルがトレーニングサンプルから離れている場合,本手法はより不確実な予測を導出する。
理論的には、密度-ソフトマックスは、ミニマックスの不確実性リスクの解であり、距離認識であるため、ニューラルネットワークによる高品質な不確実性推定が可能であることが示される。
実験的に,本手法は,現代のディープラーニングアーキテクチャにおいて,移動した玩具,視覚,言語データセット上での標準ソフトマックスと,単一の前方通過決定論的に類似した計算効率を享受する。
特に、dentity-SoftmaxはDeep Ensemblesの4倍のパラメータとRanc-1 Bayesian Neural Networkの6倍のレイテンシを使用し、分散シフト時の競合予測性能と低いキャリブレーション誤差を得る。
関連論文リスト
- Density-Regression: Efficient and Distance-Aware Deep Regressor for
Uncertainty Estimation under Distribution Shifts [11.048463491646993]
密度回帰は不確実性推定において密度関数を利用する手法であり、単一の前方通過による高速な推論を実現する。
本研究では,現代の深部回帰器を用いた分布シフトにおいて,密度回帰が競合不確実性評価性能を有することを示す。
論文 参考訳(メタデータ) (2024-03-07T23:20:34Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Revisiting Softmax for Uncertainty Approximation in Text Classification [45.07154956156555]
テキスト分類における不確かさ近似は、ドメイン適応と解釈可能性において重要な領域である。
最も広く使われている不確実性近似法の一つにモンテカルロ・ドロップアウトがある。
我々は、その不確実性近似と下流テキスト分類性能について、ソフトマックスとMC Dropoutの効率的なバージョンを比較した。
MCのドロップアウトは最適な不確実性近似を生成するが、単純なソフトマックスを用いることで競合し、場合によってはより低い計算コストでテキスト分類に対する不確実性推定がより優れていることが分かる。
論文 参考訳(メタデータ) (2022-10-25T14:13:53Z) - Distinction Maximization Loss: Efficiently Improving Classification
Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply
Replacing the Loss and Calibrating [2.262407399039118]
我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。
DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
論文 参考訳(メタデータ) (2022-05-12T04:37:35Z) - Understanding Softmax Confidence and Uncertainty [95.71801498763216]
トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。
しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。
本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
論文 参考訳(メタデータ) (2021-06-09T10:37:29Z) - Deterministic Neural Networks with Appropriate Inductive Biases Capture
Epistemic and Aleatoric Uncertainty [91.01037972035635]
変化を最小限に抑えた1つのソフトマックスニューラルネットがディープアンサンブルの不確実性予測を破ることが示される。
適切な誘導バイアスで、最大で訓練されたソフトマックスニューラルネットは、特徴空間密度を通じて確実な不確実性を確実に捉えていることを示す。
論文 参考訳(メタデータ) (2021-02-23T09:44:09Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。