論文の概要: Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2506.04411v1
• Date: Wed, 04 Jun 2025 19:43:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.404649
• Title: Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning
• Title（参考訳）: 自己監督型コントラスト学習は、ほぼ監督型コントラスト学習である
• Authors: Achleshwar Luthra, Tianbao Yang, Tomer Galanti,
• Abstract要約: 標準的な自己指導型コントラスト学習目標が暗黙的に教師付き変種を近似することを示し,我々は負のみ教師付きコントラスト学習損失(NSCL)と呼ぶ。 ラベルに依存しない,アーキテクチャに依存しない境界の下で,意味クラスの数が増えるにつれて,CLとNSCLの損失のギャップが消滅することを証明する。
• 参考スコア（独自算出の注目度）: 48.11265601808718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite its empirical success, the theoretical foundations of self-supervised contrastive learning (CL) are not yet fully established. In this work, we address this gap by showing that standard CL objectives implicitly approximate a supervised variant we call the negatives-only supervised contrastive loss (NSCL), which excludes same-class contrasts. We prove that the gap between the CL and NSCL losses vanishes as the number of semantic classes increases, under a bound that is both label-agnostic and architecture-independent. We characterize the geometric structure of the global minimizers of the NSCL loss: the learned representations exhibit augmentation collapse, within-class collapse, and class centers that form a simplex equiangular tight frame. We further introduce a new bound on the few-shot error of linear-probing. This bound depends on two measures of feature variability--within-class dispersion and variation along the line between class centers. We show that directional variation dominates the bound and that the within-class dispersion's effect diminishes as the number of labeled samples increases. These properties enable CL and NSCL-trained representations to support accurate few-shot label recovery using simple linear probes. Finally, we empirically validate our theoretical findings: the gap between CL and NSCL losses decays at a rate of $\mathcal{O}(\frac{1}{\#\text{classes}})$; the two losses are highly correlated; minimizing the CL loss implicitly brings the NSCL loss close to the value achieved by direct minimization; and the proposed few-shot error bound provides a tight estimate of probing performance in practice.
• Abstract（参考訳）: 実証的な成功にもかかわらず、自己教師付きコントラスト学習(CL)の理論的基礎はまだ完全には確立されていない。 本研究は, 標準CLの目的が, 同級コントラストを除外した負数のみの教師付きコントラスト損失(NSCL)と呼ばれる教師付き変種を暗黙的に近似することから, このギャップに対処するものである。 ラベルに依存しない,アーキテクチャに依存しない境界の下で,意味クラスの数が増えるにつれて,CLとNSCLの損失のギャップが消滅することを証明する。 NSCL損失の大域的最小化器の幾何学的構造を特徴づける: 学習された表現は、増大崩壊、クラス内崩壊、および単純な等角的タイトフレームを形成するクラス中心を示す。 さらに、線形探索の少数ショット誤差に新たな境界を導入する。 この境界は、クラス中心間の線に沿ったクラス分散とばらつきを伴う特徴変数の2つの尺度に依存する。 また, 層内分散の影響は, ラベル付きサンプルの数が増加するにつれて減少し, 方向の変動が支配的となることを示す。 これらの特性により、CLとNSCLで訓練された表現は、単純な線形プローブを用いて正確な数発のラベルリカバリをサポートすることができる。 最後に, CL と NSCL の損失の差は$\mathcal{O}(\frac{1}{\#\text{classes}})$, CL の損失の最小化は, NSCL の損失を直接最小化によって達成された値に暗黙的に減少させ, 提案された数ショット誤差境界は, 実際に得られる性能の厳密な見積りを提供する。

関連論文リスト

• Bridging Mini-Batch and Asymptotic Analysis in Contrastive Learning: From InfoNCE to Kernel-Based Losses [20.273126099815517]
  異なるコントラスト学習(CL)の損失は、実際には最適化されているのでしょうか? DHEL(Decoupled Hyperspherical Energy Loss)を新たに導入する。 我々は、カーネルコントラスト学習(KCL)という別の関連するCLファミリに対して、期待される損失がバッチサイズに依存しないことの利点として、同じ結果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-28T11:00:41Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Unveiling Vulnerabilities of Contrastive Recommender Systems to Poisoning Attacks [48.911832772464145]
  コントラスト学習(CL)は近年,レコメンダシステムの領域で注目されている。 本稿では,CLをベースとしたレコメンデータシステムの脆弱性を明らかにする。
  論文  参考訳（メタデータ） (2023-11-30T04:25:28Z)
• Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse [16.42457033976047]
  ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。 また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
  論文  参考訳（メタデータ） (2023-11-09T04:40:32Z)
• Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching [26.994954303270575]
  スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。 従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。 最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
  論文  参考訳（メタデータ） (2023-06-13T17:55:39Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。