論文の概要: Deep Contrastive Learning is Provably (almost) Principal Component Analysis

• arxiv url: http://arxiv.org/abs/2201.12680v1
• Date: Sat, 29 Jan 2022 23:08:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 13:26:58.811951
• Title: Deep Contrastive Learning is Provably (almost) Principal Component Analysis
• Title（参考訳）: 深層コントラスト学習はおそらく(ほぼ)主成分分析である
• Authors: Yuandong Tian
• Abstract要約: 本研究では,損失関数のファミリー(InfoNCEを含む)のContrastive Learning (CL) がゲーム理論の定式化を行うことを示す。 表現学習を行う最大プレイヤーは、深い線形ネットワークに対する主成分分析に還元されることを示す。 実験の結果、この定式化はInfoNCEを超えて拡張した場合、CIFAR10とSTL-10で同等(またはそれ以上)のパフォーマンスが得られることが示された。
• 参考スコア（独自算出の注目度）: 37.27098255569438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that Contrastive Learning (CL) under a family of loss functions (including InfoNCE) has a game-theoretical formulation, where the \emph{max player} finds representation to maximize contrastiveness, and the \emph{min player} puts weights on pairs of samples with similar representation. We show that the max player who does \emph{representation learning} reduces to Principal Component Analysis for deep linear network, and almost all local minima are global, recovering optimal PCA solutions. Experiments show that the formulation yields comparable (or better) performance on CIFAR10 and STL-10 when extending beyond InfoNCE, yielding novel contrastive losses. Furthermore, we extend our theoretical analysis to 2-layer ReLU networks, showing its difference from linear ones, and proving that feature composition is preferred over picking single dominant feature under strong augmentation.
• Abstract（参考訳）: 損失関数の族(InfoNCEを含む)の下のContrastive Learning (CL) はゲーム理論の定式化を持ち、そこで \emph{max player} は対照的性を最大化するための表現を見つけ、 \emph{min player} は類似の表現を持つサンプルの対に重みを置く。 我々は,emph{representation learning} を行う最大プレイヤーが深い線形ネットワークの主成分分析に還元され,ほとんどすべての局所ミニマが大域的であり,最適PCAソリューションを回復することを示した。 実験により、この定式化は情報量を超えるとcifar10とstl-10のパフォーマンスに匹敵する(またはより優れている)ことが示され、新しい対照的な損失をもたらす。 さらに、理論解析を2層reluネットワークに拡張し、線形ネットワークとの違いを示し、強増強下での単一の支配的特徴の選択よりも特徴合成が好ましいことを証明した。

関連論文リスト

• Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning [49.417414031031264]
  本稿では,自己教師型学習環境におけるフェアエンコーダの学習について検討する。 すべてのデータはラベル付けされておらず、そのごく一部だけが機密属性で注釈付けされている。
  論文  参考訳（メタデータ） (2024-06-09T08:11:12Z)
• Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse [16.42457033976047]
  ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。 また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
  論文  参考訳（メタデータ） (2023-11-09T04:40:32Z)
• When does mixup promote local linearity in learned representations? [61.079020647847024]
  学習ネットワーク表現における線形性の促進におけるMixupの役割について検討する。 CIFAR-10, CIFAR-100, SVHNなどの視覚データセット上でのMixupの特性について検討する。
  論文  参考訳（メタデータ） (2022-10-28T21:27:33Z)
• Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
  現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。 本稿では,不均衡なデータに対する表現学習に着目した。 バランス付きコントラスト学習(BCL)における新たな損失を提案する。
  論文  参考訳（メタデータ） (2022-07-19T03:48:59Z)
• Towards Demystifying Representation Learning with Non-contrastive Self-supervision [82.80118139087676]
  自己教師型学習の非競合的手法は、同一画像の2つのビュー間の距離を最小化することにより、表現を学習する。 Tian el al. (2021) は最初の質問に対して最初の試みを行い、予測器を直接設定する DirectPred を提案した。 単純な線形ネットワークにおいて、DirectSet($alpha$)は望ましいプロジェクション行列を確実に学習し、下流タスクにおけるサンプルの複雑さを減少させることを示す。
  論文  参考訳（メタデータ） (2021-10-11T00:48:05Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A Geometric Analysis of Neural Collapse with Unconstrained Features [40.66585948844492]
  Neural;Collapse$の最初のグローバル最適化ランドスケープ分析を提供します。 この現象は、トレーニングの終末期におけるニューラルネットワークのラスト層分類器と特徴に現れる。
  論文  参考訳（メタデータ） (2021-05-06T00:00:50Z)
• Dissecting Supervised Constrastive Learning [24.984074794337157]
  高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。 コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
  論文  参考訳（メタデータ） (2021-02-17T15:22:38Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• Supervised Contrastive Learning [42.27949000093086]
  我々は、自己教師付きバッチコントラストアプローチを完全教師付き設定に拡張する。 教師付きコントラスト(SupCon)損失の2つの可能なバージョンを分析し,損失の最も優れた定式化を同定した。 ResNet-200では、ImageNetデータセットでトップ1の精度が81.4%に達しています。
  論文  参考訳（メタデータ） (2020-04-23T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。