論文の概要: Deterministic Neural Networks with Appropriate Inductive Biases Capture Epistemic and Aleatoric Uncertainty

• arxiv url: http://arxiv.org/abs/2102.11582v1
• Date: Tue, 23 Feb 2021 09:44:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 14:07:09.211652
• Title: Deterministic Neural Networks with Appropriate Inductive Biases Capture Epistemic and Aleatoric Uncertainty
• Title（参考訳）: 適切な誘導性ビアーゼを付加した決定論的ニューラルネットワークによるてんかんとアラート性不確かさの把握
• Authors: Jishnu Mukhoti, Andreas Kirsch, Joost van Amersfoort, Philip H.S. Torr, Yarin Gal
• Abstract要約: 変化を最小限に抑えた1つのソフトマックスニューラルネットがディープアンサンブルの不確実性予測を破ることが示される。 適切な誘導バイアスで、最大で訓練されたソフトマックスニューラルネットは、特徴空間密度を通じて確実な不確実性を確実に捉えていることを示す。
• 参考スコア（独自算出の注目度）: 91.01037972035635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that a single softmax neural net with minimal changes can beat the uncertainty predictions of Deep Ensembles and other more complex single-forward-pass uncertainty approaches. Softmax neural nets cannot capture epistemic uncertainty reliably because for OoD points they extrapolate arbitrarily and suffer from feature collapse. This results in arbitrary softmax entropies for OoD points which can have high entropy, low, or anything in between. We study why, and show that with the right inductive biases, softmax neural nets trained with maximum likelihood reliably capture epistemic uncertainty through the feature-space density. This density is obtained using Gaussian Discriminant Analysis, but it cannot disentangle uncertainties. We show that it is necessary to combine this density with the softmax entropy to disentangle aleatoric and epistemic uncertainty -- crucial e.g. for active learning. We examine the quality of epistemic uncertainty on active learning and OoD detection, where we obtain SOTA ~0.98 AUROC on CIFAR-10 vs SVHN.
• Abstract（参考訳）: 本研究では, 最小変化のソフトマックスニューラルネットが, ディープアンサンブルやより複雑なシングルフォワードパス不確実性アプローチの不確実性予測に匹敵することを示した。 ソフトマックスニューラルネットは、OoDポイントが任意に外挿され、特徴的崩壊に苦しむため、確実にてんかん不確実性を捉えることができない。 この結果、OoD点に対する任意のソフトマックスのエントロピーは、高いエントロピー、低い、あるいはその中間にあるあらゆるものを持つことができる。 そこで本研究では, 適切な誘導バイアスにより, 最大精度で訓練したソフトマックスニューラルネットワークが, 特徴空間密度を通じて, 不確実性を確実に捉えていることを示す。 この密度はガウス判別解析を用いて得られるが、不確実性を解くことはできない。 我々は、この密度とソフトマックスエントロピーを組み合わせることが必要であることを示しています。 活発な学習のために CIFAR-10 vs SVHNでSOTA ~0.98 AUROCを得るアクティブラーニングとOoD検出における骨粗さの質を検討する。

関連論文リスト

• Density Uncertainty Layers for Reliable Uncertainty Estimation [20.867449366086237]
  ディープニューラルネットワークの予測不確実性を評価することは、ディープラーニングの安全性関連の応用に不可欠である。 本稿では,モデルが入力の経験的密度に基づいて予測分散を行う必要があるという,信頼性のある予測不確実性のための新しい基準を提案する。 既存の手法と比較すると、密度不確実性層はより信頼性の高い不確実性推定とロバストなアウト・オブ・ディストリビューション検出性能を提供する。
  論文  参考訳（メタデータ） (2023-06-21T18:12:58Z)
• Beyond Voxel Prediction Uncertainty: Identifying brain lesions you can trust [1.1199585259018459]
  ディープニューラルネットワークは、3D医療画像の自動セグメンテーションにおけるゴールドスタンダードのアプローチとなっている。 本研究では,革新的なグラフニューラルネットワークアプローチを用いて,ボクセルによる評価を超えることを提案する。 このネットワークは、エントロピー、分散、モデルの信頼という、ボクセルの不確実性の3つの推定器の融合を可能にする。
  論文  参考訳（メタデータ） (2022-09-22T09:20:05Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement [7.6146285961466]
  本稿では,不整合不整合を生成する手法を一般化し,不整合不整合の定量化を行う。 本研究は,学習失語症とてんかん不確実性との間に相互作用があることを示し,失語症不確実性に対する仮定に違反していることを示す。 我々の定式化と結果は、実践者や研究者が不確実性を選択するのに役立ち、不確実性の利用を拡大するのに役立つと期待する。
  論文  参考訳（メタデータ） (2022-04-20T08:41:37Z)
• Robust Depth Completion with Uncertainty-Driven Loss Functions [60.9237639890582]
  本研究では,不確実性による損失関数を導入し,深度補修の堅牢性を改善し,深度補修の不確実性に対処する。 提案手法は,KITTI深度評価ベンチマークでテストされ,MAE, IMAE, IRMSEの計測値を用いて最先端のロバスト性性能を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:22:34Z)
• Understanding Softmax Confidence and Uncertainty [95.71801498763216]
  トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。 しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。 本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
  論文  参考訳（メタデータ） (2021-06-09T10:37:29Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Localization Uncertainty Estimation for Anchor-Free Object Detection [48.931731695431374]
  アンカーベース物体検出のための既存の不確実性推定手法にはいくつかの制限がある。 アンカーフリー物体検出のためのUADと呼ばれる新しい位置推定不確実性推定手法を提案する。 本手法は,ボックスオフセットの4方向の不確かさを均一に捉え,どの方向が不確実であるかを判断する。
  論文  参考訳（メタデータ） (2020-06-28T13:49:30Z)
• Entropic Out-of-Distribution Detection: Seamless Detection of Unknown Examples [8.284193221280214]
  本稿では,SoftMaxの損失を,上記の弱点に悩まされない新たな損失関数に置き換えることを提案する。 提案したイソマックス損失は等方性(排他的距離ベース)であり、高いエントロピー後続確率分布を提供する。 実験の結果、IsoMaxの損失は、ニューラルネットワークのOOD検出性能を大幅に向上させる、シームレスなSoftMax損失ドロップイン置換として機能することがわかった。
  論文  参考訳（メタデータ） (2020-06-07T00:34:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。