論文の概要: On the Alignment Between Supervised and Self-Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2510.08852v1
• Date: Thu, 09 Oct 2025 23:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.812212
• Title: On the Alignment Between Supervised and Self-Supervised Contrastive Learning
• Title（参考訳）: 教師付きコントラスト学習と自己監督型コントラスト学習のアライメントについて
• Authors: Achleshwar Luthra, Priyadarsi Mishra, Tomer Galanti,
• Abstract要約: 自己指導型コントラスト学習(CL)は経験的成功を収めた。 最近の理論では、CLの損失は教師付きサロゲートであるNegatives-Only Supervised Contrastive Learning (NSCL)の損失と密接に近似している。 共有ランダム性の下で学習したCLモデルとNSCLモデルの表現アライメントを解析する。
• 参考スコア（独自算出の注目度）: 8.71512981775656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised contrastive learning (CL) has achieved remarkable empirical success, often producing representations that rival supervised pre-training on downstream tasks. Recent theory explains this by showing that the CL loss closely approximates a supervised surrogate, Negatives-Only Supervised Contrastive Learning (NSCL) loss, as the number of classes grows. Yet this loss-level similarity leaves an open question: {\em Do CL and NSCL also remain aligned at the representation level throughout training, not just in their objectives?} We address this by analyzing the representation alignment of CL and NSCL models trained under shared randomness (same initialization, batches, and augmentations). First, we show that their induced representations remain similar: specifically, we prove that the similarity matrices of CL and NSCL stay close under realistic conditions. Our bounds provide high-probability guarantees on alignment metrics such as centered kernel alignment (CKA) and representational similarity analysis (RSA), and they clarify how alignment improves with more classes, higher temperatures, and its dependence on batch size. In contrast, we demonstrate that parameter-space coupling is inherently unstable: divergence between CL and NSCL weights can grow exponentially with training time. Finally, we validate these predictions empirically, showing that CL-NSCL alignment strengthens with scale and temperature, and that NSCL tracks CL more closely than other supervised objectives. This positions NSCL as a principled bridge between self-supervised and supervised learning. Our code and project page are available at [\href{https://github.com/DLFundamentals/understanding_ssl_v2}{code}, \href{https://dlfundamentals.github.io/cl-nscl-representation-alignment/}{project page}].
• Abstract（参考訳）: 自己教師付きコントラスト学習(CL)は、しばしば下流のタスクで教師付き事前学習と競合する表現を生み出す、顕著な経験的成功を成し遂げた。 最近の理論では、CLの損失は、クラス数が増加するにつれて、教師付きサロゲートであるNegatives-Only Supervised Contrastive Learning (NSCL)の損失と密接に近似していることを示して、これを説明している。 しかし、この損失レベルの類似性は、オープンな疑問を残している: {\displaystyle Do CLとNSCLもまた、目標だけでなく、トレーニング全体を通して、表現レベルに整合している。 共有ランダム性(初期化,バッチ,拡張など)に基づいて学習したCLモデルとNSCLモデルの表現アライメントを分析することで,この問題に対処する。 具体的には、CLとNSCLの類似性行列が現実的な条件下にあることを証明する。 我々の限界は、中心核アライメント(CKA)や表現類似性分析(RSA)のようなアライメントの指標に対して高い確率保証を提供し、より多くのクラス、より高い温度、バッチサイズへの依存度でアライメントがどのように改善されるかを明らかにする。 対照的に、パラメータ空間の結合は本質的に不安定であり、CLとNSCLの重みのばらつきは訓練時間とともに指数関数的に増加する。 最後に、これらの予測を実証的に検証し、CL-NSCLアライメントがスケールと温度で強化され、NSCLがCLを他の監督対象よりも密に追跡することを示した。 これによりNSCLは、自己教師と教師付き学習の間の原則的な橋渡しとして位置づけられる。 私たちのコードとプロジェクトページは [\href{https://github.com/DLFundamentals/understanding_ssl_v2}{code}, \href{https://dlfundamentals.github.io/cl-nscl-representation-alignment/}{project page}] で利用可能です。

関連論文リスト

• CLA: Latent Alignment for Online Continual Self-Supervised Learning [53.52783900926569]
  オンラインCLの新しいSSL戦略であるContinuous Latent Alignment (CLA)を紹介する。 我々のCLAは、オンラインシナリオにおけるトレーニングプロセスの収束を早めることができ、同じ計算予算の下で最先端のアプローチより優れています。 また, 事前学習の初期段階において, CLA を事前訓練プロトコルとして使用すると, 完全な i.i.d. 事前訓練と比較して, 最終的な性能が向上することが判明した。
  論文  参考訳（メタデータ） (2025-07-14T16:23:39Z)
• Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning [48.11265601808718]
  標準的な自己指導型コントラスト学習目標が暗黙的に教師付き変種を近似することを示し,我々は負のみ教師付きコントラスト学習損失(NSCL)と呼ぶ。 ラベルに依存しない,アーキテクチャに依存しない境界の下で,意味クラスの数が増えるにつれて,CLとNSCLの損失のギャップが消滅することを証明する。
  論文  参考訳（メタデータ） (2025-06-04T19:43:36Z)
• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• Fusion Self-supervised Learning for Recommendation [16.02820746003461]
  本稿では,Fusion Self-supervised Learningフレームワークを提案する。 具体的には、GCNプロセスからの高次情報を用いてコントラストビューを作成します。 各種CL目標からの自己教師付き信号を統合するために,先進CL目標を提案する。
  論文  参考訳（メタデータ） (2024-07-29T04:30:38Z)
• CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models [23.398619576886375]
  継続学習(CL)は、ディープラーニングが学習したものを保持しながら、新しい知識を学ぶのを支援することを目的としている。 タスクごとの視覚誘導テキスト機能に対する確率的モデリングフレームワークであるCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T04:15:58Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
  ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。 さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。 FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T17:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。