論文の概要: Long-Tail Learning with Rebalanced Contrastive Loss

• arxiv url: http://arxiv.org/abs/2312.01753v2
• Date: Tue, 9 Jul 2024 01:30:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 00:11:18.116042
• Title: Long-Tail Learning with Rebalanced Contrastive Loss
• Title（参考訳）: コントラスト損失の再バランスによる長期学習
• Authors: Charika De Alvis, Dishanika Denipitiyage, Suranga Seneviratne,
• Abstract要約: 本稿では、長い尾の分類精度を高めるための効率的な方法であるRe Balanced Contrastive Learning(RCL)を提案する。 RCLは、特徴空間のバランス性、クラス内コンパクト性、正規化の3つの主な側面に対処する。 3つのベンチマークデータセットに対する実験では、学習した埋め込みの豊かさと、BCLフレームワークに提供されるトップ1バランスの精度の向上が示されている。
• 参考スコア（独自算出の注目度）: 1.4443576276330394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrating supervised contrastive loss to cross entropy-based communication has recently been proposed as a solution to address the long-tail learning problem. However, when the class imbalance ratio is high, it requires adjusting the supervised contrastive loss to support the tail classes, as the conventional contrastive learning is biased towards head classes by default. To this end, we present Rebalanced Contrastive Learning (RCL), an efficient means to increase the long tail classification accuracy by addressing three main aspects: 1. Feature space balancedness - Equal division of the feature space among all the classes, 2. Intra-Class compactness - Reducing the distance between same-class embeddings, 3. Regularization - Enforcing larger margins for tail classes to reduce overfitting. RCL adopts class frequency-based SoftMax loss balancing to supervised contrastive learning loss and exploits scalar multiplied features fed to the contrastive learning loss to enforce compactness. We implement RCL on the Balanced Contrastive Learning (BCL) Framework, which has the SOTA performance. Our experiments on three benchmark datasets demonstrate the richness of the learnt embeddings and increased top-1 balanced accuracy RCL provides to the BCL framework. We further demonstrate that the performance of RCL as a standalone loss also achieves state-of-the-art level accuracy.
• Abstract（参考訳）: 近年,長期学習問題への解決策として,教師付きコントラスト損失とクロスエントロピーに基づくコミュニケーションの統合が提案されている。 しかし、クラス不均衡比が高い場合には、従来のコントラスト学習がデフォルトでヘッドクラスに偏っているため、テールクラスをサポートするために教師付きコントラスト損失を調整する必要がある。 この目的のために,3つの主要な側面に対処することにより,長い尾の分類精度を向上させる効率的な手法であるRe Balanced Contrastive Learning(RCL)を提案する。 1. 特徴空間の均衡性 - すべてのクラスで特徴空間を等分する。 2. クラス内コンパクト性 - 同クラスの埋め込み間距離を削減する。 3. 正規化 - オーバーフィッティングを減らすためにテールクラスのマージンを大きくする。 RCLは、クラス周波数に基づくSoftMax損失分散を教師付きコントラスト学習損失に適用し、コントラスト学習損失に課されるスカラー乗算機能を利用してコンパクト性を強制する。 我々は、SOTAの性能を持つBCLフレームワーク上で、RCLを実装している。 3つのベンチマークデータセットに対する実験では、学習した埋め込みの豊かさと、BCLフレームワークに提供されるトップ1バランスの精度の向上が示されている。 さらに, 独立損失としてのRCLの性能は, 最先端の精度も達成できることを実証した。

関連論文リスト

• OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
  FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。 FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。 表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:30:48Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• A dual-branch model with inter- and intra-branch contrastive loss for long-tailed recognition [7.225494453600985]
  長い尾のデータセットで訓練されたモデルは、テールクラスへの適応性が低く、決定境界は曖昧である。 我々は,不均衡学習枝と対照学習枝(CoLB)を含む,単純で効果的なDual-Branch Long-Tailed Recognition (DB-LTR)を提案する。 CoLBは、テールクラスに適応する際のモデルの能力を改善し、不均衡な学習ブランチを支援して、よく表現された特徴空間と識別的決定境界を学習する。
  論文  参考訳（メタデータ） (2023-09-28T03:31:11Z)
• Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
  現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。 本稿では,不均衡なデータに対する表現学習に着目した。 バランス付きコントラスト学習(BCL)における新たな損失を提案する。
  論文  参考訳（メタデータ） (2022-07-19T03:48:59Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。