論文の概要: Boosting Contrastive Self-Supervised Learning with False Negative Cancellation

• arxiv url: http://arxiv.org/abs/2011.11765v2
• Date: Sun, 2 Jan 2022 10:45:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 01:36:01.056428
• Title: Boosting Contrastive Self-Supervised Learning with False Negative Cancellation
• Title（参考訳）: False Negative Cancellationによるコントラスト学習の促進
• Authors: Tri Huynh, Simon Kornblith, Matthew R. Walter, Michael Maire, Maryam Khademi
• Abstract要約: 対照的な学習における根本的な問題は、偽陰性の影響を緩和することである。 偽陰性を特定するための新しい手法と、その効果を緩和するための2つの戦略を提案する。 提案手法は,既存のコントラスト学習法よりも一貫した改善を示す。
• 参考スコア（独自算出の注目度）: 40.71224235172881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised representation learning has made significant leaps fueled by progress in contrastive learning, which seeks to learn transformations that embed positive input pairs nearby, while pushing negative pairs far apart. While positive pairs can be generated reliably (e.g., as different views of the same image), it is difficult to accurately establish negative pairs, defined as samples from different images regardless of their semantic content or visual features. A fundamental problem in contrastive learning is mitigating the effects of false negatives. Contrasting false negatives induces two critical issues in representation learning: discarding semantic information and slow convergence. In this paper, we propose novel approaches to identify false negatives, as well as two strategies to mitigate their effect, i.e. false negative elimination and attraction, while systematically performing rigorous evaluations to study this problem in detail. Our method exhibits consistent improvements over existing contrastive learning-based methods. Without labels, we identify false negatives with 40% accuracy among 1000 semantic classes on ImageNet, and achieve 5.8% absolute improvement in top-1 accuracy over the previous state-of-the-art when finetuning with 1% labels. Our code is available at https://github.com/google-research/fnc.
• Abstract（参考訳）: 自己教師付き表現学習は、負のペアを遠くに押し上げながら、近くの正の入力ペアを埋め込んだ変換を学習しようとする、対照的な学習の進歩によって大きな飛躍を遂げた。 正の対は確実に生成できるが(例えば、同じ画像の異なるビューとして)、その意味的内容や視覚的特徴に関わらず、異なる画像からのサンプルとして定義される負の対を正確に確立することは困難である。 対照的な学習における根本的な問題は、偽陰性の影響を緩和することである。 偽陰性とは対照的に、表現学習において2つの重要な問題を引き起こす。 本稿では,疑似否定を識別するための新しいアプローチと,その効果を緩和する2つの戦略,すなわち偽陰性排除とアトラクションを提案するとともに,この問題を詳細に研究するための厳密な評価を体系的に実施する。 提案手法は,既存のコントラスト学習法よりも一貫した改善を示す。 ラベルなしでは、ImageNet上の1000のセマンティッククラスの中で40%の精度で偽陰性を識別し、1%のラベルで微調整した場合に、過去の最先端よりも5.8%の絶対的なトップ1精度の向上を達成する。 私たちのコードはhttps://github.com/google-research/fncで利用可能です。

関連論文リスト

• Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation [12.754320302262533]
  我々は、パッチをスペーシングし、ランキング付けすることで、アンペア画像から画像への変換(PUT)のための新しい負のプルーニング技術を導入する。 提案アルゴリズムは効率的で柔軟で,対応するパッチ間で本質的な情報を安定的に学習することができる。
  論文  参考訳（メタデータ） (2022-04-23T08:31:18Z)
• Robust Contrastive Learning Using Negative Samples with Diminished Semantics [23.38896719740166]
  慎重に設計された負のサンプルを生成することで、コントラスト学習がより堅牢な表現を学習できることが示される。 我々は, テクスチャベースとパッチベースの拡張という2つの手法を開発し, 負のサンプルを生成する。 また,本手法と生成したテクスチャベースサンプルを分析し,特定のイメージネットクラスを分類するにはテクスチャの特徴が不可欠であることを示す。
  論文  参考訳（メタデータ） (2021-10-27T05:38:00Z)
• A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning [111.05365744744437]
  教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。 本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。 この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
  論文  参考訳（メタデータ） (2021-06-28T14:24:52Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• ISD: Self-Supervised Learning by Iterative Similarity Distillation [39.60300771234578]
  自己教師付き学習アルゴリズムを導入し,正対と負対の区別ではなく,負のイメージに対してソフトな類似性を用いる。 転送学習におけるBYOLやMoCoといった最先端モデルと比較すると,より優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-12-16T20:50:17Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• Delving into Inter-Image Invariance for Unsupervised Visual Representations [108.33534231219464]
  画像間不変学習の役割をよりよく理解するための研究を提案する。 オンラインラベルはオフラインラベルよりも早く収束する。 半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
  論文  参考訳（メタデータ） (2020-08-26T17:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。