Fugu-MT 論文翻訳(概要): Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating

論文の概要: Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating

arxiv url: http://arxiv.org/abs/2205.05874v1
Date: Thu, 12 May 2022 04:37:35 GMT
ステータス: 処理完了
システム内更新日: 2022-05-13 12:21:12.851446
Title: Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating
Title（参考訳）: 識別最大化損失:損失と校正を単純に置き換えるだけで、分類精度、不確実性推定、分散検出を効率的に改善する
Authors: David Mac\^edo, Cleber Zanchettin, Teresa Ludermir
Abstract要約: 我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。 DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
参考スコア（独自算出の注目度）: 2.262407399039118
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Building robust deterministic deep neural networks is still a challenge. On the one hand, some approaches improve out-of-distribution detection at the cost of reducing classification accuracy in some situations. On the other hand, some methods simultaneously increase classification accuracy, out-of-distribution detection, and uncertainty estimation, but reduce inference efficiency, in addition to training the same model many times to tune hyperparameters. In this paper, we propose training deterministic deep neural networks using our DisMax loss, which works as a drop-in replacement for the commonly used SoftMax loss (i.e., the combination of the linear output layer, the SoftMax activation, and the cross-entropy loss). Starting from the IsoMax+ loss, we created novel logits that are based on the distance to all prototypes rather than just the one associated with the correct class. We also propose a novel way to augment images to construct what we call fractional probability regularization. Moreover, we propose a new score to perform out-of-distribution detection and a fast way to calibrate the network after training. Our experiments show that DisMax usually outperforms all current approaches simultaneously in classification accuracy, uncertainty estimation, inference efficiency, and out-of-distribution detection, avoiding hyperparameter tuning and repetitive model training. The code to replace the SoftMax loss with the DisMax loss and reproduce the results in this paper is available at https://github.com/dlmacedo/di stinction-maximization-loss.
Abstract（参考訳）: 堅牢な決定論的ディープニューラルネットワークの構築は依然として課題である。一方で, 分類精度を低下させるコストを犠牲にして, 分布外検出を改善する手法もある。一方で、分類精度、分布外検出、不確実性推定を同時に向上させる手法もあるが、ハイパーパラメータをチューニングするために同じモデルを何度もトレーニングすることに加えて、推論効率は低下する。本稿では,一般的に使用されているSoftMax損失(線形出力層,SoftMaxアクティベーション,クロスエントロピー損失)の代替として機能するDisMax損失を用いた,決定論的深層ニューラルネットワークのトレーニングを提案する。 IsoMax+の損失から始まり、正しいクラスに関連するものだけでなく、すべてのプロトタイプまでの距離に基づいた新しいロジットを作成しました。また,分数確率正規化 ( fractional probability regularization) と呼ぶ手法を構築するための画像拡張手法を提案する。さらに,分散検出を行う新たなスコアと,トレーニング後のネットワークのキャリブレーションを高速化する手法を提案する。実験の結果,dismaxは,ハイパーパラメータチューニングや繰り返しモデルトレーニングを回避し,分類精度,不確実性推定,推論効率,分布外検出において,現在のアプローチをほぼ同時に上回ることがわかった。この論文では、SoftMaxの損失をDisMaxの損失に置き換え、結果を再現するコードがhttps://github.com/dlmacedo/di stinction-maximization-lossで公開されている。

関連論文リスト

Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
論文参考訳（メタデータ） (2022-05-13T21:09:41Z)
The Devil is in the Margin: Margin-based Label Smoothing for Network Calibration [19.110475398586313]
ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
論文参考訳（メタデータ） (2021-11-30T14:21:47Z)
A Softmax-free Loss Function Based on Predefined Optimal-distribution of Latent Features for CNN Classifier [4.7210697296108926]
本稿では,事前定義された潜在特徴の最適分布に基づくソフトマックスフリー損失関数(POD損失関数)を提案する。損失関数は、サンプルの潜伏特徴ベクトルと予め定義された等分散クラスの中心との間の余弦距離を含む、サンプルの潜伏特徴のみを制限する。一般的に使用されているSoftmax Lossや、一般的なSoftmax関連AM-Softmax Loss、COT-Loss、PEDCC-Lossと比較すると、典型的なネットワーク上のいくつかの一般的なデータセットの実験は、POD Lossが常により良く、より収束しやすいことを示している。
論文参考訳（メタデータ） (2021-11-25T06:01:53Z)
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文参考訳（メタデータ） (2021-11-02T06:44:10Z)
X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文参考訳（メタデータ） (2021-10-09T13:56:48Z)
Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
正規化法はノイズや入力の腐敗に関して脆弱性を増大させる本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文参考訳（メタデータ） (2021-10-05T11:36:25Z)
Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2021-06-15T06:39:13Z)
Improving Entropic Out-of-Distribution Detection using Isometric Distances and the Minimum Distance Score [0.0]
エントロピック・アウト・オブ・ディストリビューション検出ソリューションは、トレーニング用IsoMax損失と、アウト・オブ・ディストリビューション検出用エントロピックスコアとを含む。我々は,IsoMax損失における距離の等化を行い,エントロピースコアを最小距離スコアに置き換えることを提案する。実験の結果,これらの簡単な修正により,解をシームレスに保ちながら分布外検出性能が向上することがわかった。
論文参考訳（メタデータ） (2021-05-30T00:55:03Z)
GOALS: Gradient-Only Approximations for Line Searches Towards Robust and Consistent Training of Deep Neural Networks [0.0]
ミニバッチサブサンプリング(MBSS)は、計算コストを削減するために、ディープニューラルネットワークトレーニングで好まれる。最適性基準が定義された強い収束特性を持つ勾配限定近似線探索(GOALS)を提案する。
論文参考訳（メタデータ） (2021-05-23T11:21:01Z)
A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
論文参考訳（メタデータ） (2021-01-07T19:12:06Z)
Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。機械は独立して勾配を計算し協力することができます私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。それは非常に実用的です:それはないときすべての前の方法の性能を改善します。セッティングマシンがあります。
論文参考訳（メタデータ） (2020-12-28T17:19:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。