論文の概要: Weakly Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2110.04770v1
• Date: Sun, 10 Oct 2021 12:03:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 18:06:59.164000
• Title: Weakly Supervised Contrastive Learning
• Title（参考訳）: 弱教師付きコントラスト学習
• Authors: Mingkai Zheng, Fei Wang, Shan You, Chen Qian, Changshui Zhang, Xiaogang Wang, Chang Xu
• Abstract要約: この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
• 参考スコア（独自算出の注目度）: 68.47096022526927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised visual representation learning has gained much attention from the computer vision community because of the recent achievement of contrastive learning. Most of the existing contrastive learning frameworks adopt the instance discrimination as the pretext task, which treating every single instance as a different class. However, such method will inevitably cause class collision problems, which hurts the quality of the learned representation. Motivated by this observation, we introduced a weakly supervised contrastive learning framework (WCL) to tackle this issue. Specifically, our proposed framework is based on two projection heads, one of which will perform the regular instance discrimination task. The other head will use a graph-based method to explore similar samples and generate a weak label, then perform a supervised contrastive learning task based on the weak label to pull the similar images closer. We further introduced a K-Nearest Neighbor based multi-crop strategy to expand the number of positive samples. Extensive experimental results demonstrate WCL improves the quality of self-supervised representations across different datasets. Notably, we get a new state-of-the-art result for semi-supervised learning. With only 1\% and 10\% labeled examples, WCL achieves 65\% and 72\% ImageNet Top-1 Accuracy using ResNet50, which is even higher than SimCLRv2 with ResNet101.
• Abstract（参考訳）: 教師なし視覚表現学習は,近年のコントラスト学習の成果により,コンピュータビジョンコミュニティから注目を集めている。 既存のコントラスト学習フレームワークのほとんどは、インスタンス識別をプリテキストタスクとして採用しており、各インスタンスを異なるクラスとして扱う。 しかし、このような方法は必然的にクラス衝突問題を引き起こし、学習した表現の品質を損なう。 そこで我々は,この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入した。 具体的には,提案フレームワークは2つのプロジェクションヘッドに基づいており,そのうちの1つは通常のインスタンス識別タスクを実行する。 もう一方のヘッドはグラフベースの手法を使用して、類似したサンプルを探索し、弱いラベルを生成し、弱ラベルに基づいて教師付きコントラスト学習タスクを実行し、類似した画像を引き付ける。 さらに,k-nearest近傍のマルチクロップ戦略を導入し,正のサンプル数を拡大した。 大規模な実験により、WCLは異なるデータセットをまたいだ自己教師付き表現の質を改善した。 特に、半教師付き学習のための最先端の成果が得られます。 1\%と10\%のラベル付き例だけで、WCLはResNet50を使用して65\%と72\%のImageNet Top-1の精度を達成した。

関連論文リスト

• LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
  画像分類やオブジェクト検出などの下流タスクにおける教師あり学習よりも優れている。 対照的な学習における一般的な強化手法は、ランダムな収穫とそれに続くリサイズである。 本稿では,新しいインスタンス識別手法と適応型損失関数を用いたフレームワークであるLeOCLRを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T15:33:32Z)
• CUCL: Codebook for Unsupervised Continual Learning [129.91731617718781]
  本研究は,教師なし連続学習(UCL)の代替として,教師なし連続学習(UCL)に焦点を当てている。 本稿では,教師なし連続学習のためのCodebook for Unsupervised Continual Learning (CUCL) という手法を提案する。 本手法は教師なしおよび教師なしの手法の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-25T03:08:50Z)
• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Unsupervised Visual Representation Learning by Synchronous Momentum Grouping [47.48803765951601]
  ImageNet上のグループレベルのコントラスト型視覚表現学習法は,バニラ教師あり学習を超越している。 我々は、SMoGが現在のSOTA教師なし表現学習法を超越したことを示すために、徹底的な実験を行う。
  論文  参考訳（メタデータ） (2022-07-13T13:04:15Z)
• Clustering by Maximizing Mutual Information Across Views [62.21716612888669]
  本稿では,共同表現学習とクラスタリングを組み合わせた画像クラスタリングのための新しいフレームワークを提案する。 提案手法は,様々な画像データセットにおける最先端の単一ステージクラスタリング手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-24T15:36:49Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• Train a One-Million-Way Instance Classifier for Unsupervised Visual Representation Learning [45.510042484456854]
  本稿では、パラメトリックなインスタンスレベルの計算を用いて、データセット内のすべての画像を識別するプリテキストタスクを備えた、単純な教師なし視覚表現学習法を提案する。 全体的なフレームワークは教師付き分類モデルのレプリカであり、セマンティッククラス(犬、鳥、船など)はインスタンスIDに置き換えられる。 数千のセマンティックラベルから数百万のインスタンスラベルへの分類タスクのスケールアップは、1)大規模ソフトマックス分類器、2)インスタンスサンプルの頻度の低い訪問による緩やかな収束、3)ノイズの多い大量の負のクラスなど、特定の課題をもたらす。
  論文  参考訳（メタデータ） (2021-02-09T14:44:18Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)
• Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning [108.999497144296]
  近年の先進的な教師なし学習手法では,同じ画像から2つの「ビュー」を学習表現として比較するために,サイムズ様の枠組みを用いている。 この研究は、教師なし学習においてラベル空間上の距離の概念を巻き込み、正対と負対のソフトな類似度をモデルに認識させることを目的としている。 その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを実証的に示す。
  論文  参考訳（メタデータ） (2020-03-11T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。