論文の概要: Contrastive Attraction and Contrastive Repulsion for Representation Learning

• arxiv url: http://arxiv.org/abs/2105.03746v4
• Date: Fri, 11 Aug 2023 19:13:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 23:54:07.320436
• Title: Contrastive Attraction and Contrastive Repulsion for Representation Learning
• Title（参考訳）: 表現学習のためのコントラスト抽出とコントラスト反発
• Authors: Huangjie Zheng, Xu Chen, Jiangchao Yao, Hongxia Yang, Chunyuan Li, Ya Zhang, Hao Zhang, Ivor Tsang, Jingren Zhou, Mingyuan Zhou
• Abstract要約: コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
• 参考スコア（独自算出の注目度）: 131.72147978462348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning (CL) methods effectively learn data representations in a self-supervision manner, where the encoder contrasts each positive sample over multiple negative samples via a one-vs-many softmax cross-entropy loss. By leveraging large amounts of unlabeled image data, recent CL methods have achieved promising results when pretrained on large-scale datasets, such as ImageNet. However, most of them consider the augmented views from the same instance are positive pairs, while views from other instances are negative ones. Such binary partition insufficiently considers the relation between samples and tends to yield worse performance when generalized on images in the wild. In this paper, to further improve the performance of CL and enhance its robustness on various datasets, {we propose a doubly CL strategy that separately compares positive and negative samples within their own groups, and then proceeds with a contrast between positive and negative groups}. We realize this strategy with contrastive attraction and contrastive repulsion (CACR), which makes the query not only exert a greater force to attract more distant positive samples but also do so to repel closer negative samples. Theoretical analysis reveals that CACR generalizes CL's behavior by positive attraction and negative repulsion, and it further considers the intra-contrastive relation within the positive and negative pairs to narrow the gap between the sampled and true distribution, which is important when datasets are less curated. With our extensive experiments, CACR not only demonstrates good performance on CL benchmarks, but also shows better robustness when generalized on imbalanced image datasets. Code and pre-trained checkpoints are available at https://github.com/JegZheng/CACR-SSL.
• Abstract（参考訳）: コントラスト学習(CL)法はデータ表現を自己超越的に効果的に学習し、エンコーダは1対1のソフトマックスクロスエントロピー損失により、複数の負のサンプルに対して各正のサンプルを対比する。 大量のラベルのない画像データを活用することで、最近のclメソッドは、imagenetのような大規模データセットで事前トレーニングされた場合に有望な結果を得た。 しかし、ほとんどの場合、同じインスタンスからの拡張ビューは正のペアであり、他のインスタンスからのビューは負のペアであると考えている。 このようなバイナリパーティションはサンプル間の関係を十分に考慮せず、野生の画像に一般化するとパフォーマンスが悪化する傾向がある。 本稿では, CLの性能をさらに向上させ, 各種データセット上での堅牢性を高めるために, 自己グループ内の正と負のサンプルを別々に比較する2つのCL戦略を提案し, 正と負の群を対比して進行する。 我々は,この手法を対照的アトラクションと対照的反発(cacr)で実現し,より遠方のポジティブなサンプルを引き付けるための大きな力を与えるだけでなく,より近距離の負のサンプルを撃退する。 理論的解析により、CACRは正のアトラクションと負の反発によってCLの挙動を一般化し、さらに正と負のペア内のコントラスト内関係を、サンプルと真の分布の間のギャップを狭めるために考慮している。 大規模な実験により、CACRはCLベンチマークで優れた性能を示すだけでなく、不均衡な画像データセット上での一般化時の堅牢性も向上する。 コードと事前訓練されたチェックポイントはhttps://github.com/JegZheng/CACR-SSL.comで入手できる。

関連論文リスト

• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• Cluster-guided Contrastive Graph Clustering Network [53.16233290797777]
  クラスタ誘導コントラストグラフクラスタリングネットワーク(CCGC)を提案する。 我々は、兄弟のサブネットワーク間で重みが共有されない特別なシームズエンコーダを設計することにより、グラフの2つのビューを構築する。 意味的な負のサンプルペアを構築するために、異なる高信頼度クラスタの中心を負のサンプルとみなす。
  論文  参考訳（メタデータ） (2023-01-03T13:42:38Z)
• Debiased Graph Contrastive Learning [27.560217866753938]
  本稿では,各負のサンプルが真かどうかの確率を推定する,新規で効果的な手法を提案する。 Debiased Graph Contrastive Learning (DGCL)は、いくつかのベンチマークにおいて、教師なしの最先端結果よりも優れているか、あるいは一致している。
  論文  参考訳（メタデータ） (2021-10-05T13:15:59Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Conditional Negative Sampling for Contrastive Learning of Visual Representations [19.136685699971864]
  難解な負の選択、あるいは現在の例に類似した選択は、より強い表現をもたらす可能性があることを示す。 それぞれの正の周りの「リング」に、負を条件付きでサンプリングする相互情報推定器のファミリーを導入する。 これらの推定器は, 偏差が大きいが, NCEよりも分散度が低いことが証明された。
  論文  参考訳（メタデータ） (2020-10-05T14:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。