論文の概要: An Augmentation Overlap Theory of Contrastive Learning

• arxiv url: http://arxiv.org/abs/2511.03114v1
• Date: Wed, 05 Nov 2025 01:45:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.294476
• Title: An Augmentation Overlap Theory of Contrastive Learning
• Title（参考訳）: コントラスト学習のための拡張オーバーラップ理論
• Authors: Qi Zhang, Yifei Wang, Yisen Wang,
• Abstract要約: 自己指導型コントラスト学習は様々なタスクで大きな成功を収めた。 本稿では,条件独立の仮定に基づいて,最も厳密な境界を提供する。 また、条件付き独立仮定を、拡張重複のより実践的な仮定に緩和する。
• 参考スコア（独自算出の注目度）: 39.44413331664107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, self-supervised contrastive learning has achieved great success on various tasks. However, its underlying working mechanism is yet unclear. In this paper, we first provide the tightest bounds based on the widely adopted assumption of conditional independence. Further, we relax the conditional independence assumption to a more practical assumption of augmentation overlap and derive the asymptotically closed bounds for the downstream performance. Our proposed augmentation overlap theory hinges on the insight that the support of different intra-class samples will become more overlapped under aggressive data augmentations, thus simply aligning the positive samples (augmented views of the same sample) could make contrastive learning cluster intra-class samples together. Moreover, from the newly derived augmentation overlap perspective, we develop an unsupervised metric for the representation evaluation of contrastive learning, which aligns well with the downstream performance almost without relying on additional modules. Code is available at https://github.com/PKU-ML/GARC.
• Abstract（参考訳）: 近年,自己指導型コントラスト学習は様々なタスクにおいて大きな成功を収めている。 しかし、その基盤となる動作機構はまだ不明である。 本稿では,条件付き独立性の仮定に基づいて,まず最も厳密な境界について述べる。 さらに,条件付き独立仮定を拡張重複というより実践的な仮定に緩和し,下流性能に対する漸近的に閉じた境界を導出する。 提案した拡張重なり理論は,攻撃的なデータ拡張の下で異なるクラス内サンプルの支持がより重なり合うという知見に基づいており,正のサンプル(同一サンプルのビュー)を整列させることで,クラス内サンプルを対比学習クラスタにまとめることができる。 さらに,新たに派生した拡張重複の観点から,追加モジュールに頼らずに下流の性能とほぼ整合するコントラスト学習の表現評価のための教師なしメトリックを開発する。 コードはhttps://github.com/PKU-ML/GARCで入手できる。

関連論文リスト

• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• Unilaterally Aggregated Contrastive Learning with Hierarchical Augmentation for Anomaly Detection [64.50126371767476]
  階層的拡張(UniCon-HA)を用いた一方的集約型コントラスト学習を提案する。 我々は、教師付きおよび教師なしの対照的な損失を通じて、インレーヤの濃度と仮想外れ値の分散を明示的に奨励する。 本手法は,ラベルなし1クラス,ラベルなしマルチクラス,ラベル付きマルチクラスを含む3つのAD設定で評価される。
  論文  参考訳（メタデータ） (2023-08-20T04:01:50Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
  ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。 符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
  論文  参考訳（メタデータ） (2020-11-26T15:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。