論文の概要: Density-Softmax: Scalable and Distance-Aware Uncertainty Estimation
under Distribution Shifts
- arxiv url: http://arxiv.org/abs/2302.06495v1
- Date: Mon, 13 Feb 2023 16:21:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 14:53:40.566851
- Title: Density-Softmax: Scalable and Distance-Aware Uncertainty Estimation
under Distribution Shifts
- Title(参考訳): density-softmax: 分布シフト下でのスケーラブルで距離認識の不確実性推定
- Authors: Ha Manh Bui, Anqi Liu
- Abstract要約: 密度-ソフトマックスは不確実性推定のための単一の決定論的アプローチである。
テストサンプルがトレーニングサンプルから遠く離れている場合、より不確実な予測が生成される。
- 参考スコア(独自算出の注目度): 8.02980715531745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prevalent deep learning models suffer from significant over-confidence under
distribution shifts. In this paper, we propose Density-Softmax, a single
deterministic approach for uncertainty estimation via a combination of density
function with the softmax layer. By using the latent representation's
likelihood value, our approach produces more uncertain predictions when test
samples are distant from the training samples. Theoretically, we prove that
Density-Softmax is distance aware, which means its associated uncertainty
metrics are monotonic functions of distance metrics. This has been shown to be
a necessary condition for a neural network to produce high-quality uncertainty
estimation. Empirically, our method enjoys similar computational efficiency as
standard softmax on shifted CIFAR-10, CIFAR-100, and ImageNet dataset across
modern deep learning architectures. Notably, Density-Softmax uses 4 times fewer
parameters than Deep Ensembles and 6 times lower latency than Rank-1 Bayesian
Neural Network, while obtaining competitive predictive performance and lower
calibration errors under distribution shifts.
- Abstract(参考訳): 一般的なディープラーニングモデルは、分散シフト下で大きな自信過剰に苦しむ。
本稿では,密度関数とソフトマックス層の組み合わせによる不確実性推定のための単一決定論的手法である密度-ソフトマックスを提案する。
潜在表現の確率値を用いて,テストサンプルがトレーニングサンプルから離れている場合,本手法はより不確実な予測を導出する。
理論的には、密度ソフトマックスは距離認識であり、それに関連する不確実性メトリクスは距離メトリクスの単調関数である。
これは、ニューラルネットワークが高品質の不確実性を推定するために必要な条件であることが示されている。
提案手法は,CIFAR-10, CIFAR-100, ImageNetデータセットに標準ソフトマックスと同様の計算効率を持つ。
特に、dentity-SoftmaxはDeep Ensemblesの4倍のパラメータとRanc-1 Bayesian Neural Networkの6倍のレイテンシを使用し、分散シフト時の競合予測性能と低いキャリブレーション誤差を得る。
関連論文リスト
- Density-Regression: Efficient and Distance-Aware Deep Regressor for
Uncertainty Estimation under Distribution Shifts [11.048463491646993]
密度回帰は不確実性推定において密度関数を利用する手法であり、単一の前方通過による高速な推論を実現する。
本研究では,現代の深部回帰器を用いた分布シフトにおいて,密度回帰が競合不確実性評価性能を有することを示す。
論文 参考訳(メタデータ) (2024-03-07T23:20:34Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Revisiting Softmax for Uncertainty Approximation in Text Classification [45.07154956156555]
テキスト分類における不確かさ近似は、ドメイン適応と解釈可能性において重要な領域である。
最も広く使われている不確実性近似法の一つにモンテカルロ・ドロップアウトがある。
我々は、その不確実性近似と下流テキスト分類性能について、ソフトマックスとMC Dropoutの効率的なバージョンを比較した。
MCのドロップアウトは最適な不確実性近似を生成するが、単純なソフトマックスを用いることで競合し、場合によってはより低い計算コストでテキスト分類に対する不確実性推定がより優れていることが分かる。
論文 参考訳(メタデータ) (2022-10-25T14:13:53Z) - Distinction Maximization Loss: Efficiently Improving Classification
Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply
Replacing the Loss and Calibrating [2.262407399039118]
我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。
DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
論文 参考訳(メタデータ) (2022-05-12T04:37:35Z) - Understanding Softmax Confidence and Uncertainty [95.71801498763216]
トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。
しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。
本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
論文 参考訳(メタデータ) (2021-06-09T10:37:29Z) - Deterministic Neural Networks with Appropriate Inductive Biases Capture
Epistemic and Aleatoric Uncertainty [91.01037972035635]
変化を最小限に抑えた1つのソフトマックスニューラルネットがディープアンサンブルの不確実性予測を破ることが示される。
適切な誘導バイアスで、最大で訓練されたソフトマックスニューラルネットは、特徴空間密度を通じて確実な不確実性を確実に捉えていることを示す。
論文 参考訳(メタデータ) (2021-02-23T09:44:09Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。