論文の概要: What Makes for Good Views for Contrastive Learning?

• arxiv url: http://arxiv.org/abs/2005.10243v3
• Date: Fri, 18 Dec 2020 10:01:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 05:04:40.129009
• Title: What Makes for Good Views for Contrastive Learning?
• Title（参考訳）: コントラスト学習のための良い視点とは何か?
• Authors: Yonglong Tian, Chen Sun, Ben Poole, Dilip Krishnan, Cordelia Schmid, Phillip Isola
• Abstract要約: 我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。 教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。 副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
• 参考スコア（独自算出の注目度）: 90.49736973404046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning between multiple views of the data has recently achieved state of the art performance in the field of self-supervised representation learning. Despite its success, the influence of different view choices has been less studied. In this paper, we use theoretical and empirical analysis to better understand the importance of view selection, and argue that we should reduce the mutual information (MI) between views while keeping task-relevant information intact. To verify this hypothesis, we devise unsupervised and semi-supervised frameworks that learn effective views by aiming to reduce their MI. We also consider data augmentation as a way to reduce MI, and show that increasing data augmentation indeed leads to decreasing MI and improves downstream classification accuracy. As a by-product, we achieve a new state-of-the-art accuracy on unsupervised pre-training for ImageNet classification ($73\%$ top-1 linear readout with a ResNet-50). In addition, transferring our models to PASCAL VOC object detection and COCO instance segmentation consistently outperforms supervised pre-training. Code:http://github.com/HobbitLong/PyContrast
• Abstract（参考訳）: データの複数ビュー間のコントラスト学習は,近年,自己指導型表現学習の分野におけるアートパフォーマンスの状態を達成している。 その成功にもかかわらず、異なる視点選択の影響はほとんど研究されていない。 本稿では,ビュー選択の重要性をよりよく理解するために理論的および経験的分析を用い,タスク関連情報をそのまま保持しながら,ビュー間の相互情報(MI)を削減すべきだと論じる。 この仮説を検証するため,MIの削減をめざして効果的な視点を学習する,教師なしおよび半教師なしのフレームワークを考案した。 また,データ拡張をmi削減の方法として考慮し,データ拡張の増大によってmiが減少し,下流分類精度が向上することを示す。 副産物として、ImageNet分類のための教師なし事前トレーニング(ResNet-50で73\%$ top-1 linear readout)に関する新しい最先端の精度を実現する。 さらに、私たちのモデルをPASCAL VOCオブジェクト検出とCOCOインスタンスセグメンテーションに転送することは、教師付き事前トレーニングよりも一貫して優れています。 コード:http://github.com/hobbitlong/pycontrast

関連論文リスト

• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• MVEB: Self-Supervised Learning with Multi-View Entropy Bottleneck [53.44358636312935]
  自己監督的アプローチは、画像の2つのビューを入力と自己監督的信号の両方とみなす。 近年の研究では、ビュー間で共有されていない過剰な情報を捨てることにより、一般化が促進されることが示されている。 目的とする多視点エントロピー・ボトルネック(MVEB)を提案し,最小限の表現を効果的に学習する。
  論文  参考訳（メタデータ） (2024-03-28T00:50:02Z)
• Meta Co-Training: Two Views are Better than One [4.050257210426548]
  本稿では,Meta Pseudo Labelsアプローチを2つの視点に拡張したMeta Co-Trainingを提案する。 提案手法は,ImageNet-10%のトレーニングリソースをほとんど必要とせずに,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-29T21:11:58Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• Contrastive Learning with Boosted Memorization [36.957895270908324]
  自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。 近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。 本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:54:22Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• SEED: Self-supervised Distillation For Visual Representation [34.63488756535054]
  SEED(Self-SupErvised Distillation)と呼ばれる新しい学習パラダイムを提案し、自己監督的な方法でその表現的知識を小さなアーキテクチャ(学生)に転送します。 私達はSEEDが下流の仕事の小さいネットワークの性能を劇的に高めることを示します。
  論文  参考訳（メタデータ） (2021-01-12T20:04:50Z)
• Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
  本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。 MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。 我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-05-09T10:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。