論文の概要: G-SimCLR : Self-Supervised Contrastive Learning with Guided Projection via Pseudo Labelling

• arxiv url: http://arxiv.org/abs/2009.12007v1
• Date: Fri, 25 Sep 2020 02:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 22:13:56.019688
• Title: G-SimCLR : Self-Supervised Contrastive Learning with Guided Projection via Pseudo Labelling
• Title（参考訳）: G-SimCLR : Pseudo Labellingによるガイド投影による自己監督型コントラスト学習
• Authors: Souradip Chakraborty, Aritra Roy Gosthipaty, Sayak Paul
• Abstract要約: コンピュータビジョンにおいて、ディープニューラルネットワークは大量のラベル付きデータを持つ教師付き設定において、より良い性能を発揮することが明らかである。 本研究では, 温度スケールクロスエントロピー(NT-Xent)損失関数の正規化により, 同じカテゴリの画像が同じバッチにない方が有益であることを示す。 我々は、ラベルのないデータセットで訓練された復号化オートエンコーダの潜在空間表現を使用し、それらをk平均でクラスタリングして擬似ラベルを得る。
• 参考スコア（独自算出の注目度）: 0.8164433158925593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the realms of computer vision, it is evident that deep neural networks perform better in a supervised setting with a large amount of labeled data. The representations learned with supervision are not only of high quality but also helps the model in enhancing its accuracy. However, the collection and annotation of a large dataset are costly and time-consuming. To avoid the same, there has been a lot of research going on in the field of unsupervised visual representation learning especially in a self-supervised setting. Amongst the recent advancements in self-supervised methods for visual recognition, in SimCLR Chen et al. shows that good quality representations can indeed be learned without explicit supervision. In SimCLR, the authors maximize the similarity of augmentations of the same image and minimize the similarity of augmentations of different images. A linear classifier trained with the representations learned using this approach yields 76.5% top-1 accuracy on the ImageNet ILSVRC-2012 dataset. In this work, we propose that, with the normalized temperature-scaled cross-entropy (NT-Xent) loss function (as used in SimCLR), it is beneficial to not have images of the same category in the same batch. In an unsupervised setting, the information of images pertaining to the same category is missing. We use the latent space representation of a denoising autoencoder trained on the unlabeled dataset and cluster them with k-means to obtain pseudo labels. With this apriori information we batch images, where no two images from the same category are to be found. We report comparable performance enhancements on the CIFAR10 dataset and a subset of the ImageNet dataset. We refer to our method as G-SimCLR.
• Abstract（参考訳）: コンピュータビジョンの領域では、ディープニューラルネットワークが大量のラベル付きデータを持つ教師付き設定において、より良い性能を発揮することが明らかである。 監視によって学んだ表現は高品質であるだけでなく、モデルの精度を向上させるのにも役立ちます。 しかし、大規模なデータセットの収集とアノテーションはコストと時間を要する。 これを避けるために、特に自己教師なしの環境では教師なしの視覚的表現学習の分野で多くの研究が行われている。 視覚認識のための自己監督手法の最近の進歩の中で、SimCLR Chenらは、良質な表現は明示的な監督なしに学べることを示した。 SimCLRでは、同一画像の増大の類似度を最大化し、異なる画像の増大の類似度を最小化する。 このアプローチで学んだ表現で訓練された線形分類器は、imagenet ilsvrc-2012データセットで76.5%のtop-1精度をもたらす。 本研究は, 温度スケールクロスエントロピー(NT-Xent)損失関数を正規化することにより, 同じカテゴリの画像を同じバッチに保持しない方が有益であることを示す。 教師なしの設定では、同じカテゴリに関連する画像に関する情報が欠落している。 我々は、ラベルのないデータセットで訓練された復号化オートエンコーダの潜在空間表現を使用し、それらをk平均でクラスタリングして擬似ラベルを得る。 このエイプリオリ情報では、同じカテゴリの2つの画像が見つからない画像のバッチ化を行います。 CIFAR10データセットとImageNetデータセットのサブセットで同等のパフォーマンス向上を報告します。 我々はG-SimCLRと呼ぶ。

関連論文リスト

• Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval [15.982022297570108]
  教師なし画像検索は、与えられたクエリ画像の類似画像を取得するために、任意のレベルなしに重要な視覚的特徴を学習することを目的としている。 本稿では,パッチベースの処理により局所的なコンテキストを持つTransformerを用いて,画像のグローバルコンテキストを符号化するTransClippedCLRモデルを提案する。 提案したクリップ付きコントラスト学習の結果は、バニラコントラスト学習と同一のバックボーンネットワークと比較して、すべてのデータセットで大幅に改善されている。
  論文  参考訳（メタデータ） (2024-01-27T09:39:11Z)
• Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
  きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。 本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。 本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-09-01T11:15:50Z)
• SUVR: A Search-based Approach to Unsupervised Visual Representation Learning [11.602089225841631]
  画像ペアは様々な類似度を持つべきであり、負のサンプルはデータセット全体から引き出すことができるべきだ、と我々は主張する。 本研究では,教師なしの方法でより優れた画像表現を学習するために,検索に基づく教師なし視覚学習(SUVR)を提案する。
  論文  参考訳（メタデータ） (2023-05-24T05:57:58Z)
• Masked Autoencoders are Robust Data Augmentors [90.34825840657774]
  ディープニューラルネットワークの一般化には、画像拡張のような正規化技術が必要である。 本稿では,トレーニングプロセスの正規化に向けて,新たな拡張の視点を提案する。 このようなモデルに基づく非線形変換をデータ拡張として活用することで,高レベルの認識タスクを向上できることを示す。
  論文  参考訳（メタデータ） (2022-06-10T02:41:48Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• Semantic-aware Dense Representation Learning for Remote Sensing Image Change Detection [20.761672725633936]
  ディープラーニングに基づく変化検出モデルのトレーニングはラベル付きデータに大きく依存する。 最近のトレンドは、リモートセンシング(RS)データを使用して、教師付きまたは自己教師型学習(SSL)を通じてドメイン内表現を取得することである。 複数のクラスバランス点をサンプリングし,RS画像CDに対する意味認識事前学習を提案する。
  論文  参考訳（メタデータ） (2022-05-27T06:08:33Z)
• AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation [3.6790362352712873]
  我々は、未ラベル画像の集合から画像特徴を学習するための新しいディープラーニングトレーニングパラダイムであるAugNetを提案する。 実験により,低次元空間における画像の表現が可能であることを実証した。 多くのディープラーニングベースの画像検索アルゴリズムとは異なり、我々のアプローチは外部アノテーション付きデータセットへのアクセスを必要としない。
  論文  参考訳（メタデータ） (2021-06-11T09:02:30Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)
• Self-Supervised Ranking for Representation Learning [108.38993212650577]
  本稿では、画像検索コンテキストにおけるランキング問題として定式化することで、自己教師型表現学習のための新しいフレームワークを提案する。 我々は、画像のランダムなビューが正に関連していると考えられるランク付けのための平均精度(AP)を最大化し、表現エンコーダを訓練する。 原則として、ランク付け基準を使用することで、対象中心のキュレートされたデータセットへの依存を排除します。
  論文  参考訳（メタデータ） (2020-10-14T17:24:56Z)
• High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification [84.43394420267794]
  本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。 我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-03-18T12:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。