論文の概要: CaCo: Both Positive and Negative Samples are Directly Learnable via Cooperative-adversarial Contrastive Learning

• arxiv url: http://arxiv.org/abs/2203.14370v1
• Date: Sun, 27 Mar 2022 18:50:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-03-30 09:58:55.254964
• Title: CaCo: Both Positive and Negative Samples are Directly Learnable via Cooperative-adversarial Contrastive Learning
• Title（参考訳）: CaCo: 正のサンプルと負のサンプルは、協調的対人的コントラスト学習を通して直接学習できる
• Authors: Xiao Wang, Yuhang Huang, Dan Zeng, Guo-Jun Qi
• Abstract要約: クエリアンカーが与えられた負のサンプルと正のサンプルを区別することで、エンコーダを訓練する。 比較損失の最小化と最大化により, 正および負のサンプルを協調的に, 対角的に学習できることが示唆された。 提案手法は、ImageNet1K上で事前トレーニングされたResNet-50バックボーンの200と800のエポックに対して、トップ1の精度で71.3%と75.3%を達成する。
• 参考スコア（独自算出の注目度）: 45.68097757313092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a representative self-supervised method, contrastive learning has achieved great successes in unsupervised training of representations. It trains an encoder by distinguishing positive samples from negative ones given query anchors. These positive and negative samples play critical roles in defining the objective to learn the discriminative encoder, avoiding it from learning trivial features. While existing methods heuristically choose these samples, we present a principled method where both positive and negative samples are directly learnable end-to-end with the encoder. We show that the positive and negative samples can be cooperatively and adversarially learned by minimizing and maximizing the contrastive loss, respectively. This yields cooperative positives and adversarial negatives with respect to the encoder, which are updated to continuously track the learned representation of the query anchors over mini-batches. The proposed method achieves 71.3% and 75.3% in top-1 accuracy respectively over 200 and 800 epochs of pre-training ResNet-50 backbone on ImageNet1K without tricks such as multi-crop or stronger augmentations. With Multi-Crop, it can be further boosted into 75.7%. The source code and pre-trained model are released in https://github.com/maple-research-lab/caco.
• Abstract（参考訳）: 代表的自己指導手法として、コントラスト学習は、教師なし表現訓練において大きな成功を収めた。 クエリアンカーが与えられた負のサンプルと正のサンプルを区別することで、エンコーダを訓練する。 これらの正および負のサンプルは、識別エンコーダを学習する目的を定義する上で重要な役割を果たす。 既存の手法ではこれらのサンプルをヒューリスティックに選択するが、正のサンプルと負のサンプルの両方がエンコーダでエンドツーエンドで直接学習できる原理的な方法を提案する。 比較損失の最小化と最大化により,正および負のサンプルを協調的に学習できることが示唆された。 これにより、エンコーダに関する協調正と逆負が得られ、ミニバッチ上でクエリアンカーの学習された表現を継続的に追跡するように更新される。 提案手法は,ImageNet1Kで事前学習したResNet-50バックボーンの200と800のエポックに対して,それぞれ71.3%,75.3%の精度を実現している。 Multi-Cropではさらに75.7%に向上できる。 ソースコードと事前学習されたモデルはhttps://github.com/maple-research-lab/cacoでリリースされている。

関連論文リスト

• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Better Sampling of Negatives for Distantly Supervised Named Entity Recognition [39.264878763160766]
  本稿では, 正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正 提案手法は,4つの遠隔教師付きNERデータセットに対して一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2023-05-22T15:35:39Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• AdCo: Adversarial Contrast for Efficient Learning of Unsupervised Representations from Self-Trained Negative Adversaries [55.059844800514774]
  本稿では,正の問合せに対して識別が難しい表現を訓練するためのAdCoモデルを提案する。 実験により,AdCoモデルが優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-11-17T05:45:46Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。