論文の概要: On the duality between contrastive and non-contrastive self-supervised
learning
- arxiv url: http://arxiv.org/abs/2206.02574v1
- Date: Fri, 3 Jun 2022 08:04:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 14:15:10.021178
- Title: On the duality between contrastive and non-contrastive self-supervised
learning
- Title(参考訳): コントラスト学習と非コントラスト学習の双対性について
- Authors: Quentin Garrido (FAIR, LIGM), Yubei Chen (FAIR), Adrien Bardes (FAIR,
WILLOW), Laurent Najman (LIGM), Yann Lecun (FAIR, CIMS)
- Abstract要約: コントラスト学習と非コントラスト学習の理論的類似性に着目した。
これらの家族がいかに近いかを示し、基準における設計選択が最適化プロセスにどのように影響するかを示す。
以上の結果から,コントラスト法と非コントラスト法との差が著しく減少することが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent approaches in self-supervised learning of image representations can be
categorized into different families of methods and, in particular, can be
divided into contrastive and non-contrastive approaches. While differences
between the two families have been thoroughly discussed to motivate new
approaches, we focus more on the theoretical similarities between them. By
designing contrastive and non-contrastive criteria that can be related
algebraically and shown to be equivalent under limited assumptions, we show how
close those families can be. We further study popular methods and introduce
variations of them, allowing us to relate this theoretical result to current
practices and show how design choices in the criterion can influence the
optimization process and downstream performance. We also challenge the popular
assumptions that contrastive and non-contrastive methods, respectively, need
large batch sizes and output dimensions. Our theoretical and quantitative
results suggest that the numerical gaps between contrastive and noncontrastive
methods in certain regimes can be significantly reduced given better network
design choice and hyperparameter tuning.
- Abstract(参考訳): 画像表現の自己教師付き学習における最近のアプローチは、異なる種類の手法に分類することができ、特に、対比的および非矛盾的アプローチに分類できる。
両者の相違は, 新たなアプローチを動機付けるために徹底的に議論されてきたが, 両者の理論的類似性に焦点が当てられている。
代数的に関連し、限られた仮定の下で同値であることが示される対照的で非対照的な基準を設計することにより、それらの族がどれほど近いかを示す。
一般的な手法をさらに研究し、それらのバリエーションを導入し、この理論結果と現在のプラクティスを関連づけ、基準における設計選択が最適化プロセスと下流のパフォーマンスにどのように影響するかを示す。
また、コントラスト法と非コントラスト法がそれぞれ大きなバッチサイズと出力次元を必要とするという一般的な仮定にも挑戦する。
理論的,定量的な結果から,コントラスト法と非コントラスト法との差は,より優れたネットワーク設計選択とハイパーパラメータチューニングによって著しく減少する可能性が示唆された。
関連論文リスト
- Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking [38.666592866591344]
マルチシナリオ広告ランキングは、複数のドメインやチャネルからのデータを活用して、統一されたランキングモデルをトレーニングすることを目的としている。
マルチシナリオ広告ランキングのためのHybrid Contrastive Constrained Approach (HC2)を提案する。
論文 参考訳(メタデータ) (2023-02-06T09:15:39Z) - From Causal Pairs to Causal Graphs [1.5469452301122175]
観測データから学習する因果構造は、非自明な課題である。
NIPS 2013 Workshop on Causality Challengeにより、我々は異なるアプローチを採り、可能な全てのグラフに確率分布を生成する。
本研究の目的は,この確率的情報に基づく新しい手法を提案し,その性能を従来の手法や最先端の手法と比較することである。
論文 参考訳(メタデータ) (2022-11-08T15:28:55Z) - Surrogate Likelihoods for Variational Annealed Importance Sampling [11.144915453864854]
我々は他の変分パラメータと共同で学習できる代理可能性を導入する。
本手法は,確率的プログラミングフレームワークにおけるブラックボックス推論に適していることを示す。
論文 参考訳(メタデータ) (2021-12-22T19:49:45Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳(メタデータ) (2021-09-22T10:47:51Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳(メタデータ) (2021-08-05T15:58:25Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-18T07:47:10Z) - Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。
従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。
コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
論文 参考訳(メタデータ) (2021-03-03T20:20:48Z) - Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。
CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-07-17T15:50:34Z) - Learning the Truth From Only One Side of the Story [58.65439277460011]
一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。
理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
論文 参考訳(メタデータ) (2020-06-08T18:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。