論文の概要: Unsupervised Representation Learning by InvariancePropagation

• arxiv url: http://arxiv.org/abs/2010.11694v2
• Date: Tue, 3 Nov 2020 07:14:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 22:37:01.667061
• Title: Unsupervised Representation Learning by InvariancePropagation
• Title（参考訳）: 不変伝搬による教師なし表現学習
• Authors: Feng Wang, Huaping Liu, Di Guo, Fuchun Sun
• Abstract要約: 本稿では,カテゴリーレベルの変分に不変な学習表現に焦点をあてる不変分散伝播を提案する。 バックボーンとしてResNet-50を用いると、ImageNetの線形分類では71.3%の精度で、1%のラベルだけで78.2%の精度で微調整できる。 また、Places205とPascal VOCの線形分類や、小規模データセットでの転送学習など、他の下流タスクにおける最先端のパフォーマンスも達成している。
• 参考スコア（独自算出の注目度）: 34.53866045440319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised learning methods based on contrastive learning have drawn increasing attention and achieved promising results. Most of them aim to learn representations invariant to instance-level variations, which are provided by different views of the same instance. In this paper, we propose Invariance Propagation to focus on learning representations invariant to category-level variations, which are provided by different instances from the same category. Our method recursively discovers semantically consistent samples residing in the same high-density regions in representation space. We demonstrate a hard sampling strategy to concentrate on maximizing the agreement between the anchor sample and its hard positive samples, which provide more intra-class variations to help capture more abstract invariance. As a result, with a ResNet-50 as the backbone, our method achieves 71.3% top-1 accuracy on ImageNet linear classification and 78.2% top-5 accuracy fine-tuning on only 1% labels, surpassing previous results. We also achieve state-of-the-art performance on other downstream tasks, including linear classification on Places205 and Pascal VOC, and transfer learning on small scale datasets.
• Abstract（参考訳）: コントラスト学習に基づく教師なし学習手法が注目され,有望な結果を得た。 その多くは、同じインスタンスの異なるビューによって提供されるインスタンスレベルのバリエーションに不変な表現を学ぶことを目的としている。 本稿では,同じカテゴリの異なるインスタンスから提供されるカテゴリーレベルの変分に不変な学習表現に焦点をあてる不変分散伝搬を提案する。 提案手法は,同じ高密度領域に属する意味的に一貫したサンプルを表現空間で再帰的に発見する。 我々は,アンカーサンプルとハード陽性サンプルとの一致度を最大化することに集中するハードサンプリング戦略を示し,より抽象的不変性を捉えるためにクラス内変異をより多く提供する。 その結果、ResNet-50をバックボーンとし、画像ネットの線形分類で71.3%の精度、わずか1%のラベルで78.2%の精度で微調整を行い、過去の結果を上回った。 また,places205とpascal vocの線形分類や,小規模データセットでの転送学習など,下流タスクにおける最先端のパフォーマンスを実現する。

関連論文リスト

• Preview-based Category Contrastive Learning for Knowledge Distillation [53.551002781828146]
  知識蒸留(PCKD)のための新しい予見型カテゴリーコントラスト学習法を提案する。 まず、インスタンスレベルの特徴対応と、インスタンスの特徴とカテゴリ中心の関係の両方の構造的知識を蒸留する。 カテゴリ表現を明示的に最適化し、インスタンスとカテゴリの表現を明確に関連付けることができる。
  論文  参考訳（メタデータ） (2024-10-18T03:31:00Z)
• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Center-wise Local Image Mixture For Contrastive Representation Learning [37.806687971373954]
  インスタンス識別列車モデルに基づくコントラスト学習は、アンカーサンプルの異なる変換を他のサンプルと区別する。 本稿では,データセット内の他のサンプルからの正値を用いた新しいコントラスト学習手法であるCLIMを提案する。 ResNet-50に対する線形評価で75.5%のトップ1精度に達し、わずか1%のラベルで微調整された場合、59.3%のトップ1精度を得る。
  論文  参考訳（メタデータ） (2020-11-05T08:20:31Z)
• Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases [34.02639091680309]
  近年のパフォーマンス向上は、インスタンス分類モデルをトレーニングし、各イメージを扱い、拡張バージョンを単一のクラスのサンプルとして扱うことで実現している。 我々は,MOCO や PIRL のようなアプローチがオクルージョン不変表現を学習することを示した。 第2に、Imagenetのようなクリーンなオブジェクト中心のトレーニングデータセットにアクセスすることで、これらのアプローチがさらに利益を得ることを示す。
  論文  参考訳（メタデータ） (2020-07-28T00:11:31Z)
• Rethinking preventing class-collapsing in metric learning with margin-based losses [81.22825616879936]
  メトリクス学習は、視覚的に類似したインスタンスが近接し、異なるインスタンスが分離した埋め込みを求める。 マージンベースの損失は、クラスの全サンプルを埋め込み空間の単一点に投影する傾向がある。 そこで本研究では,各サンプルが最寄りの同一クラスをバッチで選択するように,埋め込み損失の簡易な修正を提案する。
  論文  参考訳（メタデータ） (2020-06-09T09:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。