論文の概要: With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations

• arxiv url: http://arxiv.org/abs/2104.14548v1
• Date: Thu, 29 Apr 2021 17:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-30 12:57:02.985233
• Title: With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations
• Title（参考訳）: 友人の助けを借りて - 視覚表現の近距離-neighborコントラスト学習
• Authors: Debidatta Dwibedi, Yusuf Aytar, Jonathan Tompson, Pierre Sermanet, Andrew Zisserman
• Abstract要約: 対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
• 参考スコア（独自算出の注目度）: 87.72779294717267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning algorithms based on instance discrimination train encoders to be invariant to pre-defined transformations of the same instance. While most methods treat different views of the same image as positives for a contrastive loss, we are interested in using positives from other instances in the dataset. Our method, Nearest-Neighbor Contrastive Learning of visual Representations (NNCLR), samples the nearest neighbors from the dataset in the latent space, and treats them as positives. This provides more semantic variations than pre-defined transformations. We find that using the nearest-neighbor as positive in contrastive losses improves performance significantly on ImageNet classification, from 71.7% to 75.6%, outperforming previous state-of-the-art methods. On semi-supervised learning benchmarks we improve performance significantly when only 1% ImageNet labels are available, from 53.8% to 56.5%. On transfer learning benchmarks our method outperforms state-of-the-art methods (including supervised learning with ImageNet) on 8 out of 12 downstream datasets. Furthermore, we demonstrate empirically that our method is less reliant on complex data augmentations. We see a relative reduction of only 2.1% ImageNet Top-1 accuracy when we train using only random crops.
• Abstract（参考訳）: インスタンス識別トレインエンコーダに基づく自己教師付き学習アルゴリズムは、同じインスタンスの事前定義された変換に不変である。 ほとんどのメソッドは、対照的な損失のために、同じイメージの異なるビューを扱うが、データセット内の他のインスタンスからのポジティブの使用に関心がある。 我々の手法であるNearest-Neighbor Contrastive Learning of visual Representations (NNCLR) は、潜在空間のデータセットから最も近い隣人をサンプリングし、正として扱う。 これは事前定義された変換よりも意味的なバリエーションを提供する。 コントラスト損失において最も近いneighborを正として用いると、画像ネットの分類において71.7%から75.6%と大幅に性能が向上し、従来の最先端手法を上回っていることが判明した。 半教師付き学習ベンチマークでは、imagenetラベルが 53.8% から 56.5% までしか利用できない場合、パフォーマンスが大幅に向上します。 転送学習ベンチマークでは、12のダウンストリームデータセットのうち8つで,最先端の手法(imagenetによる教師付き学習を含む)を上回っている。 さらに,本手法は複雑なデータ拡張に依存しないことを示す。 ランダムな作物のみを用いて訓練すると、画像ネットトップ1の精度は2.1%しか低下しない。

関連論文リスト

• Local Manifold Learning for No-Reference Image Quality Assessment [68.9577503732292]
  No-Reference Image Quality Assessment(NR-IQA)のための、局所多様体学習とコントラスト学習を統合した革新的なフレームワークを提案する。 提案手法は,7つの標準データセットの最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-27T15:14:23Z)
• Asymmetric Patch Sampling for Contrastive Learning [17.922853312470398]
  正対間の非対称な出現は、対照的な学習における表現劣化のリスクを効果的に減少させる。 比較学習のための新しい非対称なパッチサンプリング戦略を提案し、より良い表現のために外見非対称性を高める。
  論文  参考訳（メタデータ） (2023-06-05T13:10:48Z)
• Mix-up Self-Supervised Learning for Contrast-agnostic Applications [33.807005669824136]
  コントラストに依存しないアプリケーションのための,最初の混合型自己教師型学習フレームワークを提案する。 クロスドメイン・ミックスアップに基づく画像間の低分散に対処し、画像再構成と透明性予測に基づくプレテキストタスクを構築する。
  論文  参考訳（メタデータ） (2022-04-02T16:58:36Z)
• Few-Shot Learning with Part Discovery and Augmentation from Unlabeled Images [79.34600869202373]
  帰納的バイアスは、ラベルなし画像の平坦な集合から学習でき、目に見えるクラスと目に見えないクラスの間で伝達可能な表現としてインスタンス化されることを示す。 具体的には、トランスファー可能な表現を学習するための、新しいパートベース自己教師型表現学習手法を提案する。 我々の手法は印象的な結果をもたらし、それまでの最高の教師なし手法を7.74%、9.24%上回った。
  論文  参考訳（メタデータ） (2021-05-25T12:22:11Z)
• Contrastive Learning with Stronger Augmentations [63.42057690741711]
  本論文では,現在のコントラスト学習のアプローチを補完する,より強い拡張(A)によるコントラスト学習という汎用フレームワークを提案する。 ここでは、表現バンク上の弱強調画像と強拡張画像との間の分布のばらつきを利用して、強拡張クエリの検索を監督する。 実験では、強力な画像からの情報により、パフォーマンスが大幅に向上します。
  論文  参考訳（メタデータ） (2021-04-15T18:40:04Z)
• Boosting Contrastive Self-Supervised Learning with False Negative Cancellation [40.71224235172881]
  対照的な学習における根本的な問題は、偽陰性の影響を緩和することである。 偽陰性を特定するための新しい手法と、その効果を緩和するための2つの戦略を提案する。 提案手法は,既存のコントラスト学習法よりも一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-11-23T22:17:21Z)
• Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
  入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。 ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
  論文  参考訳（メタデータ） (2020-11-18T08:42:32Z)
• Unsupervised Representation Learning by InvariancePropagation [34.53866045440319]
  本稿では,カテゴリーレベルの変分に不変な学習表現に焦点をあてる不変分散伝播を提案する。 バックボーンとしてResNet-50を用いると、ImageNetの線形分類では71.3%の精度で、1%のラベルだけで78.2%の精度で微調整できる。 また、Places205とPascal VOCの線形分類や、小規模データセットでの転送学習など、他の下流タスクにおける最先端のパフォーマンスも達成している。
  論文  参考訳（メタデータ） (2020-10-07T13:00:33Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。