論文の概要: A Simple Framework for Contrastive Learning of Visual Representations

• arxiv url: http://arxiv.org/abs/2002.05709v3
• Date: Wed, 1 Jul 2020 00:09:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 09:33:54.325497
• Title: A Simple Framework for Contrastive Learning of Visual Representations
• Title（参考訳）: 視覚表現のコントラスト学習のための簡易フレームワーク
• Authors: Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton
• Abstract要約: 本稿では,視覚表現のコントラスト学習のためのシンプルなフレームワークであるSimCLRについて述べる。 我々は,データ拡張の構成が効果的な予測タスクを定義する上で重要な役割を担っていることを示す。 我々は、ImageNet上での自己教師付き半教師付き学習において、従来の手法よりもかなり優れています。
• 参考スコア（独自算出の注目度）: 116.37752766922407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.
• Abstract（参考訳）: 本稿では,視覚表現のコントラスト学習のためのシンプルなフレームワークであるSimCLRを提案する。 本稿では,最近提案されたコントラスト型自己教師付き学習アルゴリズムを,アーキテクチャやメモリバンクを必要とせずに単純化する。 コントラスト予測タスクが有用な表現を学習できるのかを理解するために,フレームワークの主要なコンポーネントを体系的に研究する。 その結果,(1)効果的な予測タスクの定義において,データ拡張の構成が重要な役割を果たすこと,(2)表現と対照損失との間に学習可能な非線形変換を導入することで,学習表現の品質が大幅に向上すること,(3)教師付き学習に比べてバッチサイズやトレーニングステップが大きくなること,などが示されている。 これらの知見を組み合わせることで,imagenet上での自己教師付き学習と半教師付き学習の方法を大幅に上回ることができる。 SimCLRが学習した自己教師型表現に基づいて訓練された線形分類器は76.5%のTop-1精度を達成する。 ラベルの1%だけを微調整すると85.8%の精度でAlexNetを上回り、ラベルは100倍も少ない。

関連論文リスト

• Addressing Sample Inefficiency in Multi-View Representation Learning [6.621303125642322]
  非コントラスト型自己教師型学習(NC-SSL)法は,コンピュータビジョンにおけるラベルなし表現学習に大きな可能性を示している。 我々は、バーローツインズとVICReg損失の暗黙の偏見に関する理論的洞察を提供し、これらを説明し、より原則化されたレコメンデーションの開発を導くことができる。
  論文  参考訳（メタデータ） (2023-12-17T14:14:31Z)
• Improving Visual Representation Learning through Perceptual Understanding [0.0]
  本稿では,より高度なシーンレベルの特徴の学習を明示的に奨励することにより,モデルによって学習された表現を改善するマスク付きオートエンコーダ(MAE)の拡張を提案する。 我々はImageNet-1Kで78.1%の精度で線形探索を行い、微調整時に88.1%の精度を達成し、他の下流タスクも同様の結果を得た。
  論文  参考訳（メタデータ） (2022-12-30T00:59:46Z)
• Generalized Supervised Contrastive Learning [3.499054375230853]
  ラベル類似度と潜在類似度との相互エントロピーを測定する一般化された教師付きコントラスト損失を導入する。 既存のコントラスト学習フレームワークと比較して,汎用監視コントラスト学習(Generalized Supervised Contrastive Learning, GenSCL)という,カスタマイズされたフレームワークを構築している。 GenSCLはImageNetで77.3%というトップ1の精度を達成しており、従来の教師付きコントラスト学習よりも4.1%改善している。
  論文  参考訳（メタデータ） (2022-06-01T10:38:21Z)
• SLIP: Self-supervision meets Language-Image Pre-training [79.53764315471543]
  自己指導型学習が視覚表現学習における言語指導の活用に役立つかどうかを考察する。 自己教師付き学習とCLIP事前学習を組み合わせたマルチタスク学習フレームワークSLIPを紹介する。 SLIPは、自己監督や言語監督よりも優れたパフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2021-12-23T18:07:13Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
  ImageNet上での半教師あり学習に驚くほど効果的であることを示す。 我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。 ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
  論文  参考訳（メタデータ） (2020-06-17T17:48:22Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。