論文の概要: Unsupervised Visual Representation Learning by Synchronous Momentum Grouping

• arxiv url: http://arxiv.org/abs/2207.06167v1
• Date: Wed, 13 Jul 2022 13:04:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 20:48:09.813099
• Title: Unsupervised Visual Representation Learning by Synchronous Momentum Grouping
• Title（参考訳）: 同期モーメントグルーピングによる教師なし視覚表現学習
• Authors: Bo Pang, Yifan Zhang, Yaoyi Li, Jia Cai, Cewu Lu
• Abstract要約: ImageNet上のグループレベルのコントラスト型視覚表現学習法は,バニラ教師あり学習を超越している。 我々は、SMoGが現在のSOTA教師なし表現学習法を超越したことを示すために、徹底的な実験を行う。
• 参考スコア（独自算出の注目度）: 47.48803765951601
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a genuine group-level contrastive visual representation learning method whose linear evaluation performance on ImageNet surpasses the vanilla supervised learning. Two mainstream unsupervised learning schemes are the instance-level contrastive framework and clustering-based schemes. The former adopts the extremely fine-grained instance-level discrimination whose supervisory signal is not efficient due to the false negatives. Though the latter solves this, they commonly come with some restrictions affecting the performance. To integrate their advantages, we design the SMoG method. SMoG follows the framework of contrastive learning but replaces the contrastive unit from instance to group, mimicking clustering-based methods. To achieve this, we propose the momentum grouping scheme which synchronously conducts feature grouping with representation learning. In this way, SMoG solves the problem of supervisory signal hysteresis which the clustering-based method usually faces, and reduces the false negatives of instance contrastive methods. We conduct exhaustive experiments to show that SMoG works well on both CNN and Transformer backbones. Results prove that SMoG has surpassed the current SOTA unsupervised representation learning methods. Moreover, its linear evaluation results surpass the performances obtained by vanilla supervised learning and the representation can be well transferred to downstream tasks.
• Abstract（参考訳）: 本稿では,画像ネット上での線形評価性能がバニラ教師付き学習を上回る真のグループレベルのコントラスト視覚表現学習手法を提案する。 主要な教師なし学習スキームは、インスタンスレベルのコントラストフレームワークとクラスタリングベースのスキームである。 前者は、偽陰性のため監督信号が効率的でない極微細なインスタンスレベルの識別を採用する。 後者はこの問題を解決するが、パフォーマンスに影響を与えるいくつかの制限がある。 それらの利点を統合するため、我々はSMoG法を設計する。 SMoGはコントラスト学習の枠組みに従うが、クラスタリングベースの手法を模倣して、コントラスト単位をインスタンスからグループに置き換える。 そこで本研究では,特徴群と表現学習を同期的に行うモーメントグルーピング手法を提案する。 このようにして、SMoGはクラスタリングに基づく手法が通常直面する監視信号ヒステリシスの問題を解決し、例の対照的な手法の偽陰性を減少させる。 我々は、SMoGがCNNとTransformerの両方のバックボーンでうまく動作することを示すために、徹底的な実験を行う。 その結果,SMoG は現在の SOTA 教師なし表現学習法を超越していることがわかった。 また,その線形評価結果は,バニラ教師学習による性能を上回っており,その表現を下流タスクによく移すことができる。

関連論文リスト

• Revisiting Self-Supervised Heterogeneous Graph Learning from Spectral Clustering Perspective [52.662463893268225]
  自己教師付きヘテロジニアスグラフ学習(SHGL)は様々なシナリオにおいて有望な可能性を示している。 既存のSHGLメソッドには2つの大きな制限がある。 ランクと二重整合性制約によって強化された新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-12-01T09:33:20Z)
• CARL-G: Clustering-Accelerated Representation Learning on Graphs [18.763104937800215]
  本稿では,クラスタ検証指標(CVI)にインスパイアされた損失を利用したグラフ表現学習のための新しいクラスタリングベースのフレームワークを提案する。 CARL-Gはクラスタリング法やCVIに適応し,クラスタリング法とCVIの適切な選択により,CARL-Gは4/5データセットのノード分類ベースラインを最大79倍のトレーニングスピードアップで上回ることを示す。
  論文  参考訳（メタデータ） (2023-06-12T08:14:42Z)
• Clustering-Aware Negative Sampling for Unsupervised Sentence Representation [24.15096466098421]
  ClusterNSは、教師なし文表現学習のためのコントラスト学習にクラスタ情報を組み込む新しい手法である。 修正K平均クラスタリングアルゴリズムを用いて、ハードネガティブを供給し、トレーニング中にバッチ内偽陰性を認識する。
  論文  参考訳（メタデータ） (2023-05-17T02:06:47Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Joint Debiased Representation and Image Clustering Learning with Self-Supervision [3.1806743741013657]
  我々は,新しい共同クラスタリングとコントラスト学習フレームワークを開発した。 不均衡なデータセットの下位クラスタ化を避けるために、デバイアスド・コントラストの損失に適応する。
  論文  参考訳（メタデータ） (2022-09-14T21:23:41Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Clustering by Maximizing Mutual Information Across Views [62.21716612888669]
  本稿では,共同表現学習とクラスタリングを組み合わせた画像クラスタリングのための新しいフレームワークを提案する。 提案手法は,様々な画像データセットにおける最先端の単一ステージクラスタリング手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-24T15:36:49Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。