論文の概要: Entropic Out-of-Distribution Detection: Seamless Detection of Unknown Examples

• arxiv url: http://arxiv.org/abs/2006.04005v3
• Date: Wed, 4 Aug 2021 18:30:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 07:10:07.315998
• Title: Entropic Out-of-Distribution Detection: Seamless Detection of Unknown Examples
• Title（参考訳）: Entropic Out-of-Distribution Detection: 未知例のシームレス検出
• Authors: David Mac\^edo, Tsang Ing Ren, Cleber Zanchettin, Adriano L. I. Oliveira, Teresa Ludermir
• Abstract要約: 本稿では,SoftMaxの損失を,上記の弱点に悩まされない新たな損失関数に置き換えることを提案する。 提案したイソマックス損失は等方性(排他的距離ベース)であり、高いエントロピー後続確率分布を提供する。 実験の結果、IsoMaxの損失は、ニューラルネットワークのOOD検出性能を大幅に向上させる、シームレスなSoftMax損失ドロップイン置換として機能することがわかった。
• 参考スコア（独自算出の注目度）: 8.284193221280214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we argue that the unsatisfactory out-of-distribution (OOD) detection performance of neural networks is mainly due to the SoftMax loss anisotropy and propensity to produce low entropy probability distributions in disagreement with the principle of maximum entropy. Current out-of-distribution (OOD) detection approaches usually do not directly fix the SoftMax loss drawbacks, but rather build techniques to circumvent it. Unfortunately, those methods usually produce undesired side effects (e.g., classification accuracy drop, additional hyperparameters, slower inferences, and collecting extra data). In the opposite direction, we propose replacing SoftMax loss with a novel loss function that does not suffer from the mentioned weaknesses. The proposed IsoMax loss is isotropic (exclusively distance-based) and provides high entropy posterior probability distributions. Replacing the SoftMax loss by IsoMax loss requires no model or training changes. Additionally, the models trained with IsoMax loss produce as fast and energy-efficient inferences as those trained using SoftMax loss. Moreover, no classification accuracy drop is observed. The proposed method does not rely on outlier/background data, hyperparameter tuning, temperature calibration, feature extraction, metric learning, adversarial training, ensemble procedures, or generative models. Our experiments showed that IsoMax loss works as a seamless SoftMax loss drop-in replacement that significantly improves neural networks' OOD detection performance. Hence, it may be used as a baseline OOD detection approach to be combined with current or future OOD detection techniques to achieve even higher results.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの不満足なアウト・オブ・ディストリビューション(OOD)検出性能は,最大エントロピーの原理に反して,SoftMaxの損失異方性と低エントロピー確率分布の確率性に起因すると論じる。 現在のout-of-distribution(ood)検出アプローチは通常、softmaxロスの欠点を直接修正するのではなく、回避するためのテクニックを構築する。 残念なことに、これらの手法は通常、望ましくない副作用(例えば、分類精度低下、追加のハイパーパラメータ、より遅い推測、余分なデータ収集など)を生じる。 一方,ソフトマックスの損失を,上記の弱点に悩まされない新たな損失関数に置き換えることを提案する。 提案されたisomax損失は等方性(特に距離ベース)であり、高いエントロピー後方確率分布を提供する。 IsoMax損失によるSoftMax損失の置き換えには、モデルやトレーニングの変更は必要ない。 さらに、IsoMaxの損失でトレーニングされたモデルは、SoftMaxの損失でトレーニングされたモデルと同じくらい高速でエネルギー効率の良い推論を生成する。 また,分類精度の低下は見られなかった。 提案手法は, 異常値/背景値, ハイパーパラメータチューニング, 温度校正, 特徴抽出, メトリック学習, 逆訓練, アンサンブル手順, 生成モデルに依存しない。 実験の結果、IsoMaxの損失は、ニューラルネットワークのOOD検出性能を大幅に向上させる、シームレスなSoftMax損失ドロップイン置換として機能することがわかった。 したがって、現在または将来のOOD検出技術と組み合わせてさらに高い結果を得るために、ベースラインのOOD検出手法として使用できる。

関連論文リスト

• In Defense of Softmax Parametrization for Calibrated and Consistent Learning to Defer [27.025808709031864]
  ソフトマックスでパラメータを遅延する学習のための一般的な推定器は、遅延する可能性の未有界推定を与えることが理論的に示されている。 従来の文献における誤校正・非有界推定器の原因は,ソフトマックスによるものではなく,サロゲート損失の対称性によるものであることを示す。 統計的に一貫した非対称なソフトマックスに基づくサロゲート損失を提案する。
  論文  参考訳（メタデータ） (2023-11-02T09:15:52Z)
• Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
  Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。 既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。 そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
  論文  参考訳（メタデータ） (2023-02-03T02:57:18Z)
• Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating [2.262407399039118]
  我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。 DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
  論文  参考訳（メタデータ） (2022-05-12T04:37:35Z)
• Robust Depth Completion with Uncertainty-Driven Loss Functions [60.9237639890582]
  本研究では,不確実性による損失関数を導入し,深度補修の堅牢性を改善し,深度補修の不確実性に対処する。 提案手法は,KITTI深度評価ベンチマークでテストされ,MAE, IMAE, IRMSEの計測値を用いて最先端のロバスト性性能を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:22:34Z)
• Understanding Softmax Confidence and Uncertainty [95.71801498763216]
  トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。 しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。 本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
  論文  参考訳（メタデータ） (2021-06-09T10:37:29Z)
• Improving Entropic Out-of-Distribution Detection using Isometric Distances and the Minimum Distance Score [0.0]
  エントロピック・アウト・オブ・ディストリビューション検出ソリューションは、トレーニング用IsoMax損失と、アウト・オブ・ディストリビューション検出用エントロピックスコアとを含む。 我々は,IsoMax損失における距離の等化を行い,エントロピースコアを最小距離スコアに置き換えることを提案する。 実験の結果,これらの簡単な修正により,解をシームレスに保ちながら分布外検出性能が向上することがわかった。
  論文  参考訳（メタデータ） (2021-05-30T00:55:03Z)
• Deterministic Neural Networks with Appropriate Inductive Biases Capture Epistemic and Aleatoric Uncertainty [91.01037972035635]
  変化を最小限に抑えた1つのソフトマックスニューラルネットがディープアンサンブルの不確実性予測を破ることが示される。 適切な誘導バイアスで、最大で訓練されたソフトマックスニューラルネットは、特徴空間密度を通じて確実な不確実性を確実に捉えていることを示す。
  論文  参考訳（メタデータ） (2021-02-23T09:44:09Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。