論文の概要: Combating Representation Learning Disparity with Geometric Harmonization

• arxiv url: http://arxiv.org/abs/2310.17622v1
• Date: Thu, 26 Oct 2023 17:41:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 18:38:37.908741
• Title: Combating Representation Learning Disparity with Geometric Harmonization
• Title（参考訳）: 幾何調和による圧縮表現学習の相違
• Authors: Zhihan Zhou and Jiangchao Yao and Feng Hong and Ya Zhang and Bo Han and Yanfeng Wang
• Abstract要約: 本稿では,表現学習におけるカテゴリレベルの均一性を促進するために,新しい幾何調和法を提案する。 我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。
• 参考スコア（独自算出の注目度）: 50.29859682439571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) as an effective paradigm of representation learning has achieved tremendous success on various curated datasets in diverse scenarios. Nevertheless, when facing the long-tailed distribution in real-world applications, it is still hard for existing methods to capture transferable and robust representation. Conventional SSL methods, pursuing sample-level uniformity, easily leads to representation learning disparity where head classes dominate the feature regime but tail classes passively collapse. To address this problem, we propose a novel Geometric Harmonization (GH) method to encourage category-level uniformity in representation learning, which is more benign to the minority and almost does not hurt the majority under long-tailed distribution. Specially, GH measures the population statistics of the embedding space on top of self-supervised learning, and then infer an fine-grained instance-wise calibration to constrain the space expansion of head classes and avoid the passive collapse of tail classes. Our proposal does not alter the setting of SSL and can be easily integrated into existing methods in a low-cost manner. Extensive results on a range of benchmark datasets show the effectiveness of GH with high tolerance to the distribution skewness. Our code is available at https://github.com/MediaBrain-SJTU/Geometric-Harmonization.
• Abstract（参考訳）: 表現学習の効果的なパラダイムとしての自己教師あり学習(ssl)は、様々なシナリオで様々なキュレートされたデータセットで大きな成功を収めた。 それでも、現実世界のアプリケーションで長い尾の分布に直面している場合、既存の方法では転送可能で堅牢な表現を捉えるのは難しい。 サンプルレベルの均一性を追求する従来のSSLメソッドは、ヘッドクラスが特徴体系を独占するが、テールクラスがパッシブに崩壊する、表現学習の格差を生じさせる。 この問題に対処するために,表現学習におけるカテゴリーレベルの均一性を促進する新しい幾何調和(gh)手法を提案する。 特に、GHは自己教師付き学習の上の埋め込み空間の人口統計を計測し、その後、ヘッドクラスの空間拡大を制限し、テールクラスのパッシブ崩壊を避けるために、きめ細かいインスタンスワイズキャリブレーションを推測する。 我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。 一連のベンチマークデータセットの広範囲な結果は、分布歪に対する高い耐性を有するGHの有効性を示している。 私たちのコードはhttps://github.com/MediaBrain-SJTU/Geometric-Harmonizationで利用可能です。

関連論文リスト

• Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
  FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。 インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。 最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
  論文  参考訳（メタデータ） (2024-11-02T08:03:04Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Local overlap reduction procedure for dynamic ensemble selection [13.304462985219237]
  クラス不均衡は、分類モデルにおいて学習をより困難にすることで知られる特徴である。 分類過程における局所クラス重複の影響を最小限に抑えるDS手法を提案する。 実験の結果,提案手法はベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2022-06-16T21:31:05Z)
• Targeted Supervised Contrastive Learning for Long-Tailed Recognition [50.24044608432207]
  実世界のデータは、しばしば重いクラス不均衡の長い尾の分布を示す。 教師付きコントラスト学習は性能向上に寄与するが、過去のベースラインは不均衡なデータ分布によってもたらされる不均一さに悩まされている。 我々は,超球面上の特徴分布の均一性を改善するための教師付きコントラスト学習(TSC)を提案する。
  論文  参考訳（メタデータ） (2021-11-27T22:40:10Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)
• Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
  本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。 大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2020-05-28T07:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。