論文の概要: Which Features are Learnt by Contrastive Learning? On the Role of Simplicity Bias in Class Collapse and Feature Suppression

• arxiv url: http://arxiv.org/abs/2305.16536v1
• Date: Thu, 25 May 2023 23:37:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 17:49:26.612300
• Title: Which Features are Learnt by Contrastive Learning? On the Role of Simplicity Bias in Class Collapse and Feature Suppression
• Title（参考訳）: コントラスト学習で学ぶ特徴は何か? クラス崩壊と特徴抑制における単純バイアスの役割について
• Authors: Yihao Xue, Siddharth Joshi, Eric Gan, Pin-Yu Chen, Baharan Mirzasoleiman
• Abstract要約: コントラスト学習(CL)は,ラベル管理の有無に関わらず,表現学習の強力な技術として登場した。 CLによって学習される特徴を判定する,理論的に厳密な最初の統合フレームワークを提供する。 本稿では,2つの理論的動機付けされた解として,埋め込み次元の増大とデータ拡張の質の向上について述べる。
• 参考スコア（独自算出の注目度）: 59.97965005675144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning (CL) has emerged as a powerful technique for representation learning, with or without label supervision. However, supervised CL is prone to collapsing representations of subclasses within a class by not capturing all their features, and unsupervised CL may suppress harder class-relevant features by focusing on learning easy class-irrelevant features; both significantly compromise representation quality. Yet, there is no theoretical understanding of \textit{class collapse} or \textit{feature suppression} at \textit{test} time. We provide the first unified theoretically rigorous framework to determine \textit{which} features are learnt by CL. Our analysis indicate that, perhaps surprisingly, bias of (stochastic) gradient descent towards finding simpler solutions is a key factor in collapsing subclass representations and suppressing harder class-relevant features. Moreover, we present increasing embedding dimensionality and improving the quality of data augmentations as two theoretically motivated solutions to {feature suppression}. We also provide the first theoretical explanation for why employing supervised and unsupervised CL together yields higher-quality representations, even when using commonly-used stochastic gradient methods.
• Abstract（参考訳）: コントラスト学習(CL)は,ラベル管理の有無に関わらず,表現学習の強力な技術として登場した。 しかし、教師付きclはクラス内のサブクラスの表現を壊しがちであり、教師なしclはクラスに関係のない簡単な特徴を学ぶことに集中することで、難しいクラス関連機能を抑制する可能性がある。 しかし、 \textit{class collapse} や \textit{feature suppression} を \textit{test} 時に理論的に理解することはできない。 CL によって学習される \textit{which} 特徴を決定するための,理論的に厳密な最初の統一フレームワークを提供する。 我々の分析は、おそらく、より単純な解を見つけるための(確率的な)勾配勾配のバイアスが、サブクラス表現の崩壊と、より厳しいクラス関連特徴の抑制の鍵となることを示唆している。 さらに, 埋め込み次元の増大とデータ拡張の質の向上を理論的に動機づけた2つの方法として提示する。 また, 教師付きCLと教師なしCLを併用することで, 一般に用いられている確率勾配法を用いても, 高品質な表現が得られる理由を理論的に説明する。

関連論文リスト

• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な言語表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• Fine-Grained Representation Learning via Multi-Level Contrastive Learning without Class Priors [3.050634053489509]
  Contrastive Disentangling(CD)は、クラス事前に依存することなく表現を学習するように設計されたフレームワークである。 CDはインスタンスレベルと特徴レベルのコントラスト損失を正規化エントロピー損失と統合し、意味的にリッチできめ細かな表現をキャプチャする。
  論文  参考訳（メタデータ） (2024-09-07T16:39:14Z)
• Subclass-balancing Contrastive Learning for Long-tailed Recognition [38.31221755013738]
  不均衡なクラス分布を持つロングテール認識は、実践的な機械学習アプリケーションで自然に現れる。 そこで我々は,各ヘッドクラスを複数のサブクラスにクラスタリングする,新しいサブクラスバランス・コントラッシブ・ラーニング・アプローチを提案する。 我々は,長期化ベンチマークデータセットの一覧からSBCLを評価し,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-06-28T05:08:43Z)
• Triplet Contrastive Learning for Unsupervised Vehicle Re-identification [55.445358749042384]
  部分的特徴学習は、車両の再識別におけるセマンティック理解にとって重要な技術である。 本稿では,クラスタ機能を活用したTCL(Triplet Contrastive Learning framework)を提案する。
  論文  参考訳（メタデータ） (2023-01-23T15:52:12Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation [25.070027668717422]
  一般化ゼロショットセマンティックセマンティックセグメンテーション(GZS3)は、見えないクラスと見えないクラスのピクセルワイズセマンティックラベルを予測する。 ほとんどのGZS3メソッドは、対応するセマンティックなクラスから見えないクラスの視覚的特徴を合成する生成的アプローチを採用している。 統一されたフレームワークにおける制限に対処するための差別的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-14T13:33:58Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。