論文の概要: Large Margin Discriminative Loss for Classification

• arxiv url: http://arxiv.org/abs/2405.18499v1
• Date: Tue, 28 May 2024 18:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 22:13:00.892346
• Title: Large Margin Discriminative Loss for Classification
• Title（参考訳）: 分類のための大マルジン識別損失
• Authors: Hai-Vy Nguyen, Fabrice Gamboa, Sixin Zhang, Reda Chhaibi, Serge Gratton, Thierry Giaccone,
• Abstract要約: 本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。 この損失は、クラス内コンパクト性とクラス間分離性によって表されるニューラルネットの識別力を高める。
• 参考スコア（独自算出の注目度）: 3.3975558777609915
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we introduce a novel discriminative loss function with large margin in the context of Deep Learning. This loss boosts the discriminative power of neural nets, represented by intra-class compactness and inter-class separability. On the one hand, the class compactness is ensured by close distance of samples of the same class to each other. On the other hand, the inter-class separability is boosted by a margin loss that ensures the minimum distance of each class to its closest boundary. All the terms in our loss have an explicit meaning, giving a direct view of the feature space obtained. We analyze mathematically the relation between compactness and margin term, giving a guideline about the impact of the hyper-parameters on the learned features. Moreover, we also analyze properties of the gradient of the loss with respect to the parameters of the neural net. Based on this, we design a strategy called partial momentum updating that enjoys simultaneously stability and consistency in training. Furthermore, we also investigate generalization errors to have better theoretical insights. Our loss function systematically boosts the test accuracy of models compared to the standard softmax loss in our experiments.
• Abstract（参考訳）: 本稿では,Deep Learningの文脈において,大きなマージンを有する新たな識別的損失関数を提案する。 この損失は、クラス内コンパクト性とクラス間分離性によって表されるニューラルネットの識別力を高める。 一方、クラスコンパクト性は、同じクラスのサンプル同士の近接距離によって保証される。 一方、クラス間の分離性は、各クラスから最も近い境界までの最小距離を保証するマージン損失によって促進される。 私たちの損失のすべての用語は明示的な意味を持ち、得られた特徴空間の直接的なビューを与えます。 本研究では,コンパクト度とマージン項の関係を数学的に解析し,ハイパーパラメータが学習特徴に与える影響に関する指針を与える。 さらに、ニューラルネットのパラメータに関する損失の勾配特性も解析する。 これに基づいて、トレーニングにおける安定性と一貫性を同時に享受する部分運動量更新と呼ばれる戦略を設計する。 さらに,より理論的な洞察を得るため,一般化誤差についても検討する。 我々の損失関数は、実験における標準ソフトマックス損失と比較して、モデルの試験精度を体系的に向上させる。

関連論文リスト

• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Learning Towards the Largest Margins [83.7763875464011]
  損失関数は、クラスとサンプルの両方の最大のマージンを促進するべきである。 この原則化されたフレームワークは、既存のマージンベースの損失を理解し、解釈するための新しい視点を提供するだけでなく、新しいツールの設計を導くことができます。
  論文  参考訳（メタデータ） (2022-06-23T10:03:03Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Discriminability-enforcing loss to improve representation learning [20.4701676109641]
  我々は、個々の高次特徴のエントロピーを最小化するために、ジニ不純物にインスパイアされた新しい損失項を導入する。 我々のGini損失は高い差別的特徴をもたらすが、高レベルの特徴の分布がクラスの分布と一致していることを保証するものではない。 実験結果から,新たな損失項をトレーニング目標に組み込むことで,クロスエントロピー単独でトレーニングしたモデルよりも一貫して優れた結果が得られた。
  論文  参考訳（メタデータ） (2022-02-14T22:31:37Z)
• Understanding Square Loss in Training Overparametrized Neural Network Classifiers [31.319145959402462]
  過度にパラメータ化されたニューラルネットワークでどのように機能するかを体系的に検討することにより、分類における二乗損失の理論的理解に寄与する。 クラスが分離可能か否かに応じて2つのケースを考慮する。一般的な非分離可能の場合、誤分類率と校正誤差の両方について、高速収束率が確立される。 結果として得られるマージンはゼロから下界であることが証明され、ロバスト性の理論的な保証を提供する。
  論文  参考訳（メタデータ） (2021-12-07T12:12:30Z)
• Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
  我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。 結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
  論文  参考訳（メタデータ） (2021-07-21T16:41:57Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)
• Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
  我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。 我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
  論文  参考訳（メタデータ） (2020-08-27T18:54:43Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。