論文の概要: A margin-based replacement for cross-entropy loss
- arxiv url: http://arxiv.org/abs/2501.12191v1
- Date: Tue, 21 Jan 2025 14:56:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:24:19.876463
- Title: A margin-based replacement for cross-entropy loss
- Title（参考訳）: マージンに基づくクロスエントロピー損失の代替
- Authors: Michael W. Spratling, Heiko H. Schütt,
- Abstract要約: クロスエントロピー(CE)損失は、ディープニューラルネットワークをトレーニングして分類を行うためのデファクト標準である。
我々は,他のマージンベース損失のトレーニング問題を克服する多クラスマージン損失の変種であるハイエラーマージン(HEM)損失を提案する。
- 参考スコア（独自算出の注目度）: 4.189643331553923
- License:
- Abstract: Cross-entropy (CE) loss is the de-facto standard for training deep neural networks to perform classification. However, CE-trained deep neural networks struggle with robustness and generalisation issues. To alleviate these issues, we propose high error margin (HEM) loss, a variant of multi-class margin loss that overcomes the training issues of other margin-based losses. We evaluate HEM extensively on a range of architectures and datasets. We find that HEM loss is more effective than cross-entropy loss across a wide range of tasks: unknown class rejection, adversarial robustness, learning with imbalanced data, continual learning, and semantic segmentation (a pixel-level classification task). Despite all training hyper-parameters being chosen for CE loss, HEM is inferior to CE only in terms of clean accuracy and this difference is insignificant. We also compare HEM to specialised losses that have previously been proposed to improve performance on specific tasks. LogitNorm, a loss achieving state-of-the-art performance on unknown class rejection, produces similar performance to HEM for this task, but is much poorer for continual learning and semantic segmentation. Logit-adjusted loss, designed for imbalanced data, has superior results to HEM for that task, but performs more poorly on unknown class rejection and semantic segmentation. DICE, a popular loss for semantic segmentation, is inferior to HEM loss on all tasks, including semantic segmentation. Thus, HEM often out-performs specialised losses, and in contrast to them, is a general-purpose replacement for CE loss.
- Abstract（参考訳）: クロスエントロピー(CE)損失は、ディープニューラルネットワークをトレーニングして分類を行うためのデファクト標準である。
しかし、CEで訓練されたディープニューラルネットワークは、堅牢性と一般化の問題に苦慮している。
これらの問題を緩和するために、我々は、他のマージンベース損失のトレーニング問題を克服するマルチクラスマージン損失の変種である、ハイエラーマージン損失(HEM)を提案する。
我々はHEMを様々なアーキテクチャやデータセットで広範囲に評価する。
我々は,HEMの損失が,未知のクラス拒否,敵対的ロバスト性,不均衡なデータによる学習,連続学習,セマンティックセグメンテーション(ピクセルレベルの分類タスク)など,幅広いタスクのクロスエントロピー損失よりも効果的であることを発見した。
すべてのトレーニングハイパーパラメータがCE損失のために選択されているにもかかわらず、HEMはCEよりもクリーンな精度で劣っており、この差は重要ではない。
また,HEMと従来提案されていた特定のタスクの性能向上のための損失を比較検討した。
LogitNormは、未知のクラス拒絶に対する最先端のパフォーマンスを損なうもので、このタスクではHEMと同じようなパフォーマンスを生み出すが、連続的な学習やセマンティックセグメンテーションではずっと劣っている。
不均衡なデータのために設計されたログ調整損失は、HEMよりも優れた結果をもたらすが、未知のクラス拒絶やセマンティックセグメンテーションではより不十分である。
セマンティックセグメンテーションの一般的な損失であるDICEは、セマンティックセグメンテーションを含むすべてのタスクにおいてHEMロスよりも劣っている。
したがって、HEMはしばしば特別な損失よりも優れており、それとは対照的にCE損失の汎用的な置き換えである。
関連論文リスト
- Gradient-based Class Weighting for Unsupervised Domain Adaptation in Dense Prediction Visual Tasks [3.776249047528669]
本稿では,クラスウェイトをUDA学習損失に組み込んだクラスバランス緩和戦略を提案する。
損失勾配を通してこれらの重みを動的に推定する斬新さは、グラディエントに基づくクラス重み付け(GBW)学習を定義する。
GBWは、大きな表現されたクラスによって学習が妨げられるクラスの貢献を自然に増大させる。
論文 参考訳（メタデータ） (2024-07-01T14:34:25Z) - Learning Towards the Largest Margins [83.7763875464011]
損失関数は、クラスとサンプルの両方の最大のマージンを促進するべきである。
この原則化されたフレームワークは、既存のマージンベースの損失を理解し、解釈するための新しい視点を提供するだけでなく、新しいツールの設計を導くことができます。
論文 参考訳（メタデータ） (2022-06-23T10:03:03Z) - Building Robust Ensembles via Margin Boosting [98.56381714748096]
敵のロバスト性においては、単一のモデルは通常、全ての敵の攻撃に対して十分な力を持っていない。
我々は最大利得のアンサンブルを学習するアルゴリズムを開発した。
提案アルゴリズムは,既存のアンサンブル技術に勝るだけでなく,エンド・ツー・エンドで訓練された大規模モデルにも勝ることを示す。
論文 参考訳（メタデータ） (2022-06-07T14:55:58Z) - Introducing One Sided Margin Loss for Solving Classification Problems in
Deep Networks [4.157900711249931]
本稿では,最大マージン分類問題を効果的に解くために,新たな損失関数OSMを提案する。
実験では、OSMの損失を用いることで、バイナリやカテゴリのクロスエントロピーよりも訓練速度が向上し、精度が向上することがわかった。
論文 参考訳（メタデータ） (2022-06-02T12:03:39Z) - Label Distributionally Robust Losses for Multi-class Classification:
Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。
我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。
本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文 参考訳（メタデータ） (2021-12-30T00:27:30Z) - Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。
結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
論文 参考訳（メタデータ） (2021-07-21T16:41:57Z) - Striking the Right Balance: Recall Loss for Semantic Segmentation [24.047359482606307]
クラス不均衡は、セマンティックセグメンテーションのようなコンピュータビジョンアプリケーションにおける基本的な問題である。
我々は,バニラクロスエントロピー損失を変形させることにより,ハードクラスの鉱業損失を提案する。
本研究では, 標準クロスエントロピー損失と逆周波数重み付き損失との間に, 新たなリコール損失が徐々に変化することを示す。
論文 参考訳（メタデータ） (2021-06-28T18:02:03Z) - Orthogonal Projection Loss [59.61277381836491]
直交射影損失(OPL)と呼ばれる新しい損失関数を開発する。
OPLは、機能空間におけるクラス内クラスタリングとクラス間分離を直接実施する。
OPLは、慎重な負のマイニングを必要とせず、バッチサイズに敏感であるため、ユニークな利点がある。
論文 参考訳（メタデータ） (2021-03-25T17:58:00Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳（メタデータ） (2020-09-08T21:55:22Z) - Class Interference Regularization [7.248447600071719]
対照的な損失は、人物の再識別、顔認証、少人数のショットラーニングのための最先端のパフォーマンスをもたらす。
我々は,新しい,シンプルで効果的な正規化手法であるクラス干渉正規化(CIR)を提案する。
CIRは、負のクラスの平均埋め込みに向かってランダムに移動することで出力特徴を摂動する。
論文 参考訳（メタデータ） (2020-09-04T21:03:32Z) - Evaluation of Neural Architectures Trained with Square Loss vs
Cross-Entropy in Classification Tasks [23.538629997497747]
クロスエントロピー損失は、分類タスクの平方損失よりも経験的に優れていると広く信じられている。
これらのニューラルネットワークアーキテクチャは、正方形損失をトレーニングした場合に、相容れないか、より良く機能することを示す。
クロスエントロピーはコンピュータビジョンのタスクに多少の限界があるようだ。
論文 参考訳（メタデータ） (2020-06-12T17:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。