論文の概要: Large Margin Discriminative Loss for Classification

• arxiv url: http://arxiv.org/abs/2405.18499v2
• Date: Tue, 18 Feb 2025 21:03:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:57:15.348961
• Title: Large Margin Discriminative Loss for Classification
• Title（参考訳）: 分類のための大マルジン識別損失
• Authors: Hai-Vy Nguyen, Fabrice Gamboa, Sixin Zhang, Reda Chhaibi, Serge Gratton, Thierry Giaccone,
• Abstract要約: 本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。 この損失は、クラス内のコンパクト性とクラス間の分離性によって表現されるニューラルネットワークの識別力を高める。 トレーニングにおける安定性と一貫性を同時に享受する部分運動量更新という戦略を設計する。
• 参考スコア（独自算出の注目度）: 3.3975558777609915
• License:
• Abstract: In this paper, we introduce a novel discriminative loss function with large margin in the context of Deep Learning. This loss boosts the discriminative power of neural networks, represented by intra-class compactness and inter-class separability. On the one hand, the class compactness is ensured by close distance of samples of the same class to each other. On the other hand, the inter-class separability is boosted by a margin loss that ensures the minimum distance of each class to its closest boundary. All the terms in our loss have an explicit meaning, giving a direct view of the obtained feature space. We analyze mathematically the relation between compactness and margin term, giving a guideline about the impact of the hyper-parameters on the learned features. Moreover, we also analyze properties of the gradient of the loss with respect to the parameters of the neural network. Based on this, we design a strategy called partial momentum updating that enjoys simultaneously stability and consistency in training. Furthermore, we provide theoretical insights explaining why our method can avoid trivial solutions that do not improve the generalization capability of the model. Besides, we also investigate generalization errors to have better theoretical insights. The experiments show promising results of our method.
• Abstract（参考訳）: 本稿では,Deep Learningの文脈において,大きなマージンを有する新たな識別的損失関数を提案する。 この損失は、クラス内のコンパクト性とクラス間の分離性によって表現されるニューラルネットワークの識別力を高める。 一方、クラスコンパクト性は、同じクラスのサンプル同士の近接距離によって保証される。 一方、クラス間の分離性は、各クラスから最も近い境界までの最小距離を保証するマージン損失によって促進される。 私たちの損失のすべての用語は明示的な意味を持ち、得られた特徴空間の直接的なビューを与えます。 本研究では,コンパクト度とマージン項の関係を数学的に解析し,ハイパーパラメータが学習特徴に与える影響に関する指針を与える。 さらに、ニューラルネットワークのパラメータに関する損失の勾配特性も分析する。 これに基づいて、トレーニングにおける安定性と一貫性を同時に享受する部分運動量更新と呼ばれる戦略を設計する。 さらに,本手法がモデルの一般化能力を向上しない自明な解を回避できる理由を理論的に考察する。 さらに、より理論的な洞察を得るための一般化誤差についても検討する。 実験の結果,提案手法の有望な結果が得られた。

関連論文リスト

• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Learning Towards the Largest Margins [83.7763875464011]
  損失関数は、クラスとサンプルの両方の最大のマージンを促進するべきである。 この原則化されたフレームワークは、既存のマージンベースの損失を理解し、解釈するための新しい視点を提供するだけでなく、新しいツールの設計を導くことができます。
  論文  参考訳（メタデータ） (2022-06-23T10:03:03Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Discriminability-enforcing loss to improve representation learning [20.4701676109641]
  我々は、個々の高次特徴のエントロピーを最小化するために、ジニ不純物にインスパイアされた新しい損失項を導入する。 我々のGini損失は高い差別的特徴をもたらすが、高レベルの特徴の分布がクラスの分布と一致していることを保証するものではない。 実験結果から,新たな損失項をトレーニング目標に組み込むことで,クロスエントロピー単独でトレーニングしたモデルよりも一貫して優れた結果が得られた。
  論文  参考訳（メタデータ） (2022-02-14T22:31:37Z)
• Understanding Square Loss in Training Overparametrized Neural Network Classifiers [31.319145959402462]
  過度にパラメータ化されたニューラルネットワークでどのように機能するかを体系的に検討することにより、分類における二乗損失の理論的理解に寄与する。 クラスが分離可能か否かに応じて2つのケースを考慮する。一般的な非分離可能の場合、誤分類率と校正誤差の両方について、高速収束率が確立される。 結果として得られるマージンはゼロから下界であることが証明され、ロバスト性の理論的な保証を提供する。
  論文  参考訳（メタデータ） (2021-12-07T12:12:30Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。