論文の概要: On the Learning Property of Logistic and Softmax Losses for Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2003.02309v1
- Date: Wed, 4 Mar 2020 19:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 12:32:46.015434
- Title: On the Learning Property of Logistic and Softmax Losses for Deep Neural
Networks
- Title（参考訳）: 深部ニューラルネットワークにおけるロジスティック・ソフトマックス損失の学習特性について
- Authors: Xiangrui Li, Xin Li, Deng Pan and Dongxiao Zhu
- Abstract要約: 対物的およびソフトマックスの損失で訓練された深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおける視覚認識タスクを著しく進歩させた。
トレーニングデータがクラス不均衡を示す場合、クラスワイドのロジスティックとソフトマックスの損失は、非重み付きバージョンの性能を高めるためにしばしば使用される。
我々は,これらの2つの損失関数の学習特性を,CNNが局所最小値に収束するように訓練した後,必要な条件(例えば,勾配は0に等しい)を解析することによって説明する。
- 参考スコア（独自算出の注目度）: 22.588234843948662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep convolutional neural networks (CNNs) trained with logistic and softmax
losses have made significant advancement in visual recognition tasks in
computer vision. When training data exhibit class imbalances, the class-wise
reweighted version of logistic and softmax losses are often used to boost
performance of the unweighted version. In this paper, motivated to explain the
reweighting mechanism, we explicate the learning property of those two loss
functions by analyzing the necessary condition (e.g., gradient equals to zero)
after training CNNs to converge to a local minimum. The analysis immediately
provides us explanations for understanding (1) quantitative effects of the
class-wise reweighting mechanism: deterministic effectiveness for binary
classification using logistic loss yet indeterministic for multi-class
classification using softmax loss; (2) disadvantage of logistic loss for
single-label multi-class classification via one-vs.-all approach, which is due
to the averaging effect on predicted probabilities for the negative class
(e.g., non-target classes) in the learning process. With the disadvantage and
advantage of logistic loss disentangled, we thereafter propose a novel
reweighted logistic loss for multi-class classification. Our simple yet
effective formulation improves ordinary logistic loss by focusing on learning
hard non-target classes (target vs. non-target class in one-vs.-all) and turned
out to be competitive with softmax loss. We evaluate our method on several
benchmark datasets to demonstrate its effectiveness.
- Abstract（参考訳）: ロジスティックとソフトマックスの損失で訓練された深層畳み込みニューラルネットワーク(cnns)は、コンピュータビジョンにおける視覚認識タスクを著しく進歩させた。
トレーニングデータがクラス不均衡を示す場合、クラスワイドのロジスティックとソフトマックスの損失は、非重み付きバージョンの性能を高めるためにしばしば使用される。
本稿では,2つの損失関数の学習特性を,CNNの学習後に必要条件(勾配が0に等しいなど)を解析し,局所的な最小限に収束させることにより,再重み付けのメカニズムを説明する。
本分析は,(1) クラス単位の重み付け機構の定量的効果について,(1) ソフトマックス損失を用いたマルチクラス分類において,ロジスティック損失を用いた二項分類に対する決定論的有効性,(2) 1-vs による単一ラベルのマルチクラス分類におけるロジスティック損失のデメリットについて,直ちに理解する。
あらゆるアプローチは、学習過程における負のクラス(例えば、非ターゲットクラス)の予測確率に対する平均効果によるものである。
また,ロジスティック損失のデメリットとデメリットを両立させることにより,ロジスティック損失を多クラス分類に再加重する手法を提案する。
単純かつ効果的な定式化は,難解な非目標クラス(目標クラスと非目標クラス)の学習に焦点を合わせ,通常のロジスティックロスを改善した。
提案手法を複数のベンチマークデータセット上で評価し,その有効性を実証する。
関連論文リスト
- Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。
我々はその2次情報を経験的フィッシャー行列を通して活用する。
ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
論文 参考訳（メタデータ） (2024-10-24T18:02:11Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - SuSana Distancia is all you need: Enforcing class separability in metric
learning via two novel distance-based loss functions for few-shot image
classification [0.9236074230806579]
本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。
以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
論文 参考訳（メタデータ） (2023-05-15T23:12:09Z) - Understanding Square Loss in Training Overparametrized Neural Network
Classifiers [31.319145959402462]
過度にパラメータ化されたニューラルネットワークでどのように機能するかを体系的に検討することにより、分類における二乗損失の理論的理解に寄与する。
クラスが分離可能か否かに応じて2つのケースを考慮する。一般的な非分離可能の場合、誤分類率と校正誤差の両方について、高速収束率が確立される。
結果として得られるマージンはゼロから下界であることが証明され、ロバスト性の理論的な保証を提供する。
論文 参考訳（メタデータ） (2021-12-07T12:12:30Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳（メタデータ） (2021-07-28T05:18:10Z) - Adversarial Robustness via Fisher-Rao Regularization [33.134075068748984]
適応的堅牢性は、機械学習への関心の高まりのトピックとなっている。
火はカテゴリーのクロスエントロピー損失に対する新しいフィッシャー・ラオ正規化である。
論文 参考訳（メタデータ） (2021-06-12T04:12:58Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳（メタデータ） (2020-11-16T05:17:29Z) - Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。
我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
論文 参考訳（メタデータ） (2020-08-27T18:54:43Z) - Equalization Loss for Long-Tailed Object Recognition [109.91045951333835]
最先端のオブジェクト検出手法は、大きな語彙と長い尾を持つデータセットでは依然として不十分である。
そこで本稿では,長期的希少なカテゴリーの課題に対処するために,同化損失という,シンプルだが効果的な損失を提案する。
LVISベンチマークでは,レアおよび共通カテゴリのAP利得が4.1%,レアおよび共通カテゴリが4.8%である。
論文 参考訳（メタデータ） (2020-03-11T09:14:53Z) - Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks
Trained with the Logistic Loss [0.0]
勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。
我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
論文 参考訳（メタデータ） (2020-02-11T15:42:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。