論文の概要: Understanding Softmax Confidence and Uncertainty

• arxiv url: http://arxiv.org/abs/2106.04972v1
• Date: Wed, 9 Jun 2021 10:37:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:32:35.059672
• Title: Understanding Softmax Confidence and Uncertainty
• Title（参考訳）: ソフトマックスの信頼と不確実性を理解する
• Authors: Tim Pearce, Alexandra Brintrup, Jun Zhu
• Abstract要約: トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。 しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。 本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
• 参考スコア（独自算出の注目度）: 95.71801498763216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is often remarked that neural networks fail to increase their uncertainty when predicting on data far from the training distribution. Yet naively using softmax confidence as a proxy for uncertainty achieves modest success in tasks exclusively testing for this, e.g., out-of-distribution (OOD) detection. This paper investigates this contradiction, identifying two implicit biases that do encourage softmax confidence to correlate with epistemic uncertainty: 1) Approximately optimal decision boundary structure, and 2) Filtering effects of deep networks. It describes why low-dimensional intuitions about softmax confidence are misleading. Diagnostic experiments quantify reasons softmax confidence can fail, finding that extrapolations are less to blame than overlap between training and OOD data in final-layer representations. Pre-trained/fine-tuned networks reduce this overlap.
• Abstract（参考訳）: トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、としばしば言及される。 しかし、不確実性のプロキシとしてsoftmax confidenceを使用することは、例えばout-of-distribution(ood)検出のような、このためにのみテストするタスクにおいて、ささやかな成功を収める。 本稿では,この矛盾を解明し,ソフトマックスの信頼度とてんかんの不確実性との相関を助長する2つの暗黙バイアスを同定する:(1)最適な決定境界構造,2)ディープネットワークのフィルタリング効果について述べる。 ソフトマックス信頼に関する低次元直観が誤解を招く理由を説明している。 診断実験は、ソフトマックスの信頼性が失敗する理由を定量化し、外挿が最終層表現におけるトレーニングデータとOODデータの重複よりも少ないことを発見した。 事前訓練/微調整ネットワークは、この重複を減らす。

関連論文リスト

• Confidence Intervals and Simultaneous Confidence Bands Based on Deep Learning [0.36832029288386137]
  本手法は, 適用された最適化アルゴリズムに固有の雑音からデータの不確実性を正しく解き放つことのできる, 有効な非パラメトリックブートストラップ法である。 提案したアドホック法は、トレーニングプロセスに干渉することなく、ディープニューラルネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2024-06-20T05:51:37Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Revisiting Softmax for Uncertainty Approximation in Text Classification [45.07154956156555]
  テキスト分類における不確かさ近似は、ドメイン適応と解釈可能性において重要な領域である。 最も広く使われている不確実性近似法の一つにモンテカルロ・ドロップアウトがある。 我々は、その不確実性近似と下流テキスト分類性能について、ソフトマックスとMC Dropoutの効率的なバージョンを比較した。 MCのドロップアウトは最適な不確実性近似を生成するが、単純なソフトマックスを用いることで競合し、場合によってはより低い計算コストでテキスト分類に対する不確実性推定がより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-10-25T14:13:53Z)
• Training Uncertainty-Aware Classifiers with Conformalized Deep Learning [7.837881800517111]
  ディープニューラルネットワークは、データ内の隠れパターンを検出し、それらを活用して予測する強力なツールであるが、不確実性を理解するように設計されていない。 我々は予測力を犠牲にすることなく、より信頼性の高い不確実性推定を導出できる新しいトレーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-05-12T05:08:10Z)
• Deterministic Neural Networks with Appropriate Inductive Biases Capture Epistemic and Aleatoric Uncertainty [91.01037972035635]
  変化を最小限に抑えた1つのソフトマックスニューラルネットがディープアンサンブルの不確実性予測を破ることが示される。 適切な誘導バイアスで、最大で訓練されたソフトマックスニューラルネットは、特徴空間密度を通じて確実な不確実性を確実に捉えていることを示す。
  論文  参考訳（メタデータ） (2021-02-23T09:44:09Z)
• Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
  既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。 これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。 我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-10T23:28:36Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)
• Fine-grained Uncertainty Modeling in Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける分布外点検出のための新しい手法を提案する。 我々の手法は、NNの過度な判断を正し、外れ点を検知し、上位2つの予測の間で重要な点が不確実であるときに「私は知らない」と言うことを学習する。 副作用として, 本手法は, 追加訓練を必要とせず, 敵の攻撃を防ぐのに有効である。
  論文  参考訳（メタデータ） (2020-02-11T05:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。