論文の概要: Learning Towards the Largest Margins

• arxiv url: http://arxiv.org/abs/2206.11589v1
• Date: Thu, 23 Jun 2022 10:03:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 13:14:39.561053
• Title: Learning Towards the Largest Margins
• Title（参考訳）: 大規模マージンへの学習
• Authors: Xiong Zhou, Xianming Liu, Deming Zhai, Junjun Jiang, Xin Gao, Xiangyang Ji
• Abstract要約: 損失関数は、クラスとサンプルの両方の最大のマージンを促進するべきである。 この原則化されたフレームワークは、既存のマージンベースの損失を理解し、解釈するための新しい視点を提供するだけでなく、新しいツールの設計を導くことができます。
• 参考スコア（独自算出の注目度）: 83.7763875464011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the main challenges for feature representation in deep learning-based classification is the design of appropriate loss functions that exhibit strong discriminative power. The classical softmax loss does not explicitly encourage discriminative learning of features. A popular direction of research is to incorporate margins in well-established losses in order to enforce extra intra-class compactness and inter-class separability, which, however, were developed through heuristic means, as opposed to rigorous mathematical principles. In this work, we attempt to address this limitation by formulating the principled optimization objective as learning towards the largest margins. Specifically, we firstly define the class margin as the measure of inter-class separability, and the sample margin as the measure of intra-class compactness. Accordingly, to encourage discriminative representation of features, the loss function should promote the largest possible margins for both classes and samples. Furthermore, we derive a generalized margin softmax loss to draw general conclusions for the existing margin-based losses. Not only does this principled framework offer new perspectives to understand and interpret existing margin-based losses, but it also provides new insights that can guide the design of new tools, including sample margin regularization and largest margin softmax loss for the class-balanced case, and zero-centroid regularization for the class-imbalanced case. Experimental results demonstrate the effectiveness of our strategy on a variety of tasks, including visual classification, imbalanced classification, person re-identification, and face verification.
• Abstract（参考訳）: ディープラーニングに基づく分類における特徴表現の主な課題の1つは、強力な識別能力を示す適切な損失関数の設計である。 古典的なソフトマックス損失は、特徴の識別学習を明示的に奨励しない。 研究の一般的な方向は、厳密な数学的原理とは対照的に、余分なクラス内コンパクト性とクラス間分離性を強制するために、確立された損失にマージンを組み込むことである。 本研究では,原理最適化目標を最大マージンへの学習として定式化することで,この制限に対処しようとする。 具体的には、クラスマージンをクラス間分離性の尺度として定義し、サンプルマージンをクラス内コンパクト性の尺度として定義する。 したがって、特徴の識別的表現を促進するために、損失関数はクラスとサンプルの両方の最大のマージンを促進するべきである。 さらに、既存のマージンベース損失に対する一般的な結論を引き出すために、一般化したマージンソフトマックス損失を導出する。 この原則付きフレームワークは、既存のマージンベースの損失を理解し、解釈するための新しい視点を提供するだけでなく、サンプルマージンの正規化やクラスバランスケースの最大マージンのソフトマックス損失、クラスバランスのとれたケースのゼロセンタロイドの正規化など、新しいツールの設計を導く新たな洞察を提供する。 実験の結果,視覚分類,不均衡分類,人物再同定,顔認証など,様々なタスクにおける戦略の有効性が示された。

関連論文リスト

• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Large Margin Discriminative Loss for Classification [3.3975558777609915]
  本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。 この損失は、クラス内コンパクト性とクラス間分離性によって表されるニューラルネットの識別力を高める。
  論文  参考訳（メタデータ） (2024-05-28T18:10:45Z)
• Unified Binary and Multiclass Margin-Based Classification [27.28814893730265]
  本稿では,多くの人気関数を含む多クラス損失関数を,相対的マージン形式で表現できることを示す。 次に、Fenchel-Young の損失のクラスを分析し、これらの損失の集合を分類校正(class-calibrated)として拡張する。
  論文  参考訳（メタデータ） (2023-11-29T16:24:32Z)
• Joint Discriminative and Metric Embedding Learning for Person Re-Identification [8.137833258504381]
  個人の再識別は,非制限的ニュアンス要因によって引き起こされるクラス内ばらつきが高いため,困難な課題である。 最近のアプローチでは、強力なアーキテクチャはニュアンス要因に不変な特徴表現を学習する能力を持っていると仮定されている。
  論文  参考訳（メタデータ） (2022-12-28T22:08:42Z)
• Learning Imbalanced Datasets with Maximum Margin Loss [21.305656747991026]
  クラス不均衡データ学習問題を考慮した学習アルゴリズムとして,最大マージン(MM)を提案する。 我々は、シフトする決定境界を通して有界なマージン一般化を最小化することで、新しい最大マージン損失関数を設計する。
  論文  参考訳（メタデータ） (2022-06-11T00:21:41Z)
• Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
  我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。 結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
  論文  参考訳（メタデータ） (2021-07-21T16:41:57Z)
• Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
  本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。 大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2020-05-28T07:58:41Z)
• Negative Margin Matters: Understanding Margin in Few-shot Classification [72.85978953262004]
  本稿では,メトリクス学習に基づく数ショット学習手法に負のマージン損失を導入する。 負のマージンの損失は、通常のソフトマックスの損失と、3つの標準的な数ショット分類ベンチマークにおける最先端の精度を著しく上回る。
  論文  参考訳（メタデータ） (2020-03-26T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。