論文の概要: Distinction Maximization Loss: Efficiently Improving Classification
Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply
Replacing the Loss and Calibrating
- arxiv url: http://arxiv.org/abs/2205.05874v1
- Date: Thu, 12 May 2022 04:37:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-05-13 12:21:12.851446
- Title: Distinction Maximization Loss: Efficiently Improving Classification
Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply
Replacing the Loss and Calibrating
- Title（参考訳）: 識別最大化損失:損失と校正を単純に置き換えるだけで、分類精度、不確実性推定、分散検出を効率的に改善する
- Authors: David Mac\^edo, Cleber Zanchettin, Teresa Ludermir
- Abstract要約: 我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。
DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
- 参考スコア（独自算出の注目度）: 2.262407399039118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building robust deterministic deep neural networks is still a challenge. On
the one hand, some approaches improve out-of-distribution detection at the cost
of reducing classification accuracy in some situations. On the other hand, some
methods simultaneously increase classification accuracy, out-of-distribution
detection, and uncertainty estimation, but reduce inference efficiency, in
addition to training the same model many times to tune hyperparameters. In this
paper, we propose training deterministic deep neural networks using our DisMax
loss, which works as a drop-in replacement for the commonly used SoftMax loss
(i.e., the combination of the linear output layer, the SoftMax activation, and
the cross-entropy loss). Starting from the IsoMax+ loss, we created novel
logits that are based on the distance to all prototypes rather than just the
one associated with the correct class. We also propose a novel way to augment
images to construct what we call fractional probability regularization.
Moreover, we propose a new score to perform out-of-distribution detection and a
fast way to calibrate the network after training. Our experiments show that
DisMax usually outperforms all current approaches simultaneously in
classification accuracy, uncertainty estimation, inference efficiency, and
out-of-distribution detection, avoiding hyperparameter tuning and repetitive
model training. The code to replace the SoftMax loss with the DisMax loss and
reproduce the results in this paper is available at
https://github.com/dlmacedo/distinction-maximization-loss.
- Abstract（参考訳）: 堅牢な決定論的ディープニューラルネットワークの構築は依然として課題である。
一方で, 分類精度を低下させるコストを犠牲にして, 分布外検出を改善する手法もある。
一方で、分類精度、分布外検出、不確実性推定を同時に向上させる手法もあるが、ハイパーパラメータをチューニングするために同じモデルを何度もトレーニングすることに加えて、推論効率は低下する。
本稿では,一般的に使用されているSoftMax損失(線形出力層,SoftMaxアクティベーション,クロスエントロピー損失)の代替として機能するDisMax損失を用いた,決定論的深層ニューラルネットワークのトレーニングを提案する。
IsoMax+の損失から始まり、正しいクラスに関連するものだけでなく、すべてのプロトタイプまでの距離に基づいた新しいロジットを作成しました。
また,分数確率正規化 ( fractional probability regularization) と呼ぶ手法を構築するための画像拡張手法を提案する。
さらに,分散検出を行う新たなスコアと,トレーニング後のネットワークのキャリブレーションを高速化する手法を提案する。
実験の結果,dismaxは,ハイパーパラメータチューニングや繰り返しモデルトレーニングを回避し,分類精度,不確実性推定,推論効率,分布外検出において,現在のアプローチをほぼ同時に上回ることがわかった。
この論文では、SoftMaxの損失をDisMaxの損失に置き換え、結果を再現するコードがhttps://github.com/dlmacedo/distinction-maximization-lossで公開されている。
関連論文リスト
- Deep Minimax Classifiers for Imbalanced Datasets with a Small Number of Minority Samples [5.217870815854702]
本稿では,最低性能クラスのリスクを最小限に抑えるために,新しいミニマックス学習アルゴリズムを提案する。
提案アルゴリズムは証明可能な収束特性を有しており,提案アルゴリズムは既存手法に匹敵する性能を示した。
論文 参考訳（メタデータ） (2025-02-24T08:20:02Z) - Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。
本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
論文 参考訳（メタデータ） (2025-01-15T04:09:21Z) - Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう
既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。
そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
論文 参考訳（メタデータ） (2024-01-13T12:33:04Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - A Softmax-free Loss Function Based on Predefined Optimal-distribution of
Latent Features for CNN Classifier [4.7210697296108926]
本稿では,事前定義された潜在特徴の最適分布に基づくソフトマックスフリー損失関数(POD損失関数)を提案する。
損失関数は、サンプルの潜伏特徴ベクトルと予め定義された等分散クラスの中心との間の余弦距離を含む、サンプルの潜伏特徴のみを制限する。
一般的に使用されているSoftmax Lossや、一般的なSoftmax関連AM-Softmax Loss、COT-Loss、PEDCC-Lossと比較すると、典型的なネットワーク上のいくつかの一般的なデータセットの実験は、POD Lossが常により良く、より収束しやすいことを示している。
論文 参考訳（メタデータ） (2021-11-25T06:01:53Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳（メタデータ） (2021-10-05T11:36:25Z) - Improving Entropic Out-of-Distribution Detection using Isometric
Distances and the Minimum Distance Score [0.0]
エントロピック・アウト・オブ・ディストリビューション検出ソリューションは、トレーニング用IsoMax損失と、アウト・オブ・ディストリビューション検出用エントロピックスコアとを含む。
我々は,IsoMax損失における距離の等化を行い,エントロピースコアを最小距離スコアに置き換えることを提案する。
実験の結果,これらの簡単な修正により,解をシームレスに保ちながら分布外検出性能が向上することがわかった。
論文 参考訳（メタデータ） (2021-05-30T00:55:03Z) - Shaping Deep Feature Space towards Gaussian Mixture for Visual
Classification [74.48695037007306]
視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。
分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。
提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
論文 参考訳（メタデータ） (2020-11-18T03:32:27Z) - Entropic Out-of-Distribution Detection: Seamless Detection of Unknown
Examples [8.284193221280214]
本稿では,SoftMaxの損失を,上記の弱点に悩まされない新たな損失関数に置き換えることを提案する。
提案したイソマックス損失は等方性(排他的距離ベース)であり、高いエントロピー後続確率分布を提供する。
実験の結果、IsoMaxの損失は、ニューラルネットワークのOOD検出性能を大幅に向上させる、シームレスなSoftMax損失ドロップイン置換として機能することがわかった。
論文 参考訳（メタデータ） (2020-06-07T00:34:57Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z) - MaxUp: A Simple Way to Improve Generalization of Neural Network Training [41.89570630848936]
emphMaxUpは、機械学習モデルの一般化性能を改善するための、恥ずかしいほどシンプルで、非常に効果的なテクニックである。
特に、ImageNetの分類を最先端のトップ-1の精度で85.5%$、追加データなしでは85.8%$に改善します。
論文 参考訳（メタデータ） (2020-02-20T21:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。