論文の概要: When Does Contrastive Visual Representation Learning Work?

• arxiv url: http://arxiv.org/abs/2105.05837v1
• Date: Wed, 12 May 2021 17:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 12:30:11.887199
• Title: When Does Contrastive Visual Representation Learning Work?
• Title（参考訳）: 対照的な視覚的表現学習はいつ働くのか?
• Authors: Elijah Cole, Xuan Yang, Kimberly Wilber, Oisin Mac Aodha, Serge Belongie
• Abstract要約: 4つの大規模データセットの対比的自己監視学習について検討する。 i)500k画像を超える予備トレーニングデータの追加の利点は控えめであり、(ii)他のドメインからの予備トレーニング画像の追加は、より一般的な表現につながるものではなく、(iii)破損した予備トレーニング画像は、監督および自己監督の予備トレーニングに異なる影響を与えます。
• 参考スコア（独自算出の注目度）: 13.247759411409936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent self-supervised representation learning techniques have largely closed the gap between supervised and unsupervised learning on ImageNet classification. While the particulars of pretraining on ImageNet are now relatively well understood, the field still lacks widely accepted best practices for replicating this success on other datasets. As a first step in this direction, we study contrastive self-supervised learning on four diverse large-scale datasets. By looking through the lenses of data quantity, data domain, data quality, and task granularity, we provide new insights into the necessary conditions for successful self-supervised learning. Our key findings include observations such as: (i) the benefit of additional pretraining data beyond 500k images is modest, (ii) adding pretraining images from another domain does not lead to more general representations, (iii) corrupted pretraining images have a disparate impact on supervised and self-supervised pretraining, and (iv) contrastive learning lags far behind supervised learning on fine-grained visual classification tasks.
• Abstract（参考訳）: 近年の自己教師あり表現学習技術は,imagenet分類における教師なし学習と教師なし学習のギャップをほとんど埋めている。 ImageNetでの事前トレーニングの特質は比較的よく理解されているが、他のデータセットでこの成功を複製するための広く受け入れられているベストプラクティスはいまだに欠けている。 この方向の第一歩として,4つの大規模データセット上でのコントラスト的自己教師付き学習について検討した。 データ量、データドメイン、データ品質、タスク粒度といったレンズを通して、自己監督学習の成功に必要な条件に関する新たな洞察を提供する。 例えば, (i)500k画像を超える追加事前学習データの利点は控えめであり, (ii) 他領域からの事前学習画像の追加は, より一般的な表現に繋がらず, (iii) 劣化事前学習画像は, 教師付きおよび自己監督型事前学習に異なる影響を与え, (iv) 視覚的分類タスクにおいて教師付き学習よりもはるかに遅れた対照的な学習ラグがある。

関連論文リスト

• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• SLIP: Self-supervision meets Language-Image Pre-training [79.53764315471543]
  自己指導型学習が視覚表現学習における言語指導の活用に役立つかどうかを考察する。 自己教師付き学習とCLIP事前学習を組み合わせたマルチタスク学習フレームワークSLIPを紹介する。 SLIPは、自己監督や言語監督よりも優れたパフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2021-12-23T18:07:13Z)
• Continual Contrastive Self-supervised Learning for Image Classification [10.070132585425938]
  自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。 自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。 本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
  論文  参考訳（メタデータ） (2021-07-05T03:53:42Z)
• Unsupervised Object-Level Representation Learning from Scene Images [97.07686358706397]
  Object-level Representation Learning (ORL) はシーンイメージに対する新たな自己教師型学習フレームワークである。 我々の重要な洞察は、画像レベルの自己教師付き事前学習を、オブジェクトレベルの意味的対応を見つけるための事前学習として活用することである。 ORLは、複数の下流タスクにおける教師付きImageNet事前学習を超越しても、シーンイメージ上での自己教師型学習のパフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2021-06-22T17:51:24Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Few-Shot Learning with Part Discovery and Augmentation from Unlabeled Images [79.34600869202373]
  帰納的バイアスは、ラベルなし画像の平坦な集合から学習でき、目に見えるクラスと目に見えないクラスの間で伝達可能な表現としてインスタンス化されることを示す。 具体的には、トランスファー可能な表現を学習するための、新しいパートベース自己教師型表現学習手法を提案する。 我々の手法は印象的な結果をもたらし、それまでの最高の教師なし手法を7.74%、9.24%上回った。
  論文  参考訳（メタデータ） (2021-05-25T12:22:11Z)
• Curious Representation Learning for Embodied Intelligence [81.21764276106924]
  近年,自己指導型表現学習は顕著な成功を収めている。 しかし、真にインテリジェントなエージェントを構築するためには、環境から学習できる表現学習アルゴリズムを構築する必要がある。 本稿では,強化学習方針と視覚的表現モデルを同時に学習する,好奇心をそそる表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-03T17:59:20Z)
• Self-Supervised Learning of Remote Sensing Scene Representations Using Contrastive Multiview Coding [0.0]
  遠隔センシング画像分類における自己監督学習の適用可能性の分析を行う。 遠隔センシング画像分類の下流課題において,自己教師付き事前学習は自然シーン画像の教師付き事前学習よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-14T18:25:43Z)
• Self-Supervised Training Enhances Online Continual Learning [37.91734641808391]
  連続学習では、システムは壊滅的な忘れずに、非定常データストリームから段階的に学習する必要があります。 自己教師付き事前トレーニングは、教師付き学習よりも一般化する機能をもたらす可能性がある。 我々の最善のシステムは、オンライン連続学習の最先端技術よりも、クラスインクリメンタルイメージネットにおいて、トップ1の精度を14.95%向上させる。
  論文  参考訳（メタデータ） (2021-03-25T17:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。