論文の概要: Can Semantic Labels Assist Self-Supervised Visual Representation Learning?

• arxiv url: http://arxiv.org/abs/2011.08621v1
• Date: Tue, 17 Nov 2020 13:25:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 16:56:37.157709
• Title: Can Semantic Labels Assist Self-Supervised Visual Representation Learning?
• Title（参考訳）: セマンティックラベルは自己監督型視覚表現学習を支援するか?
• Authors: Longhui Wei, Lingxi Xie, Jianzhong He, Jianlong Chang, Xiaopeng Zhang, Wengang Zhou, Houqiang Li, Qi Tian
• Abstract要約: 近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
• 参考スコア（独自算出の注目度）: 194.1681088693248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, contrastive learning has largely advanced the progress of unsupervised visual representation learning. Pre-trained on ImageNet, some self-supervised algorithms reported higher transfer learning performance compared to fully-supervised methods, seeming to deliver the message that human labels hardly contribute to learning transferrable visual features. In this paper, we defend the usefulness of semantic labels but point out that fully-supervised and self-supervised methods are pursuing different kinds of features. To alleviate this issue, we present a new algorithm named Supervised Contrastive Adjustment in Neighborhood (SCAN) that maximally prevents the semantic guidance from damaging the appearance feature embedding. In a series of downstream tasks, SCAN achieves superior performance compared to previous fully-supervised and self-supervised methods, and sometimes the gain is significant. More importantly, our study reveals that semantic labels are useful in assisting self-supervised methods, opening a new direction for the community.
• Abstract（参考訳）: 近年,コントラスト学習は,教師なし視覚表現学習の進歩に大きく進展している。 imagenetで事前トレーニングされた一部の自己教師付きアルゴリズムは、完全な教師付きメソッドよりも転送学習のパフォーマンスが高いと報告した。 本稿では,セマンティクスラベルの有用性を擁護する一方で,完全教師付きおよび自己教師付き手法が異なる特徴を追求していることを指摘する。 この問題を軽減するため,提案手法はSCAN (Supervised Contrastive Adjustment in Neighborhood) と呼ばれるアルゴリズムを新たに提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 さらに重要なことは、セマンティックラベルは、自己教師付き手法を支援するのに有用であり、コミュニティに新たな方向性を開くことである。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• On minimal variations for unsupervised representation learning [19.055611167696238]
  教師なし表現学習は、様々な下流タスクを解決するために、生データを効率的に記述することを目的としている。 教師なし表現学習の原則として最小限のバリエーションを考案することは、自己教師付き学習アルゴリズムの実践的ガイドラインを改善する道を開く。
  論文  参考訳（メタデータ） (2022-11-07T18:57:20Z)
• Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation [0.41436032949434404]
  教師付き学習は、最先端のパフォーマンスに到達するために大量のラベル付きデータを必要とする。 ラベル付けのコストを回避するため,ラベル付けされていないデータを利用する自己管理手法が提案された。 本研究は,特徴表現のための自己監督パラダイムにおける近年の展開に関する包括的で洞察に富んだ調査と分析を行う。
  論文  参考訳（メタデータ） (2021-11-03T07:02:34Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks [0.0]
  最近の少数ショット学習の研究は、学習された表現の質が少数ショット分類のパフォーマンスにおいて重要な役割を果たしていることを示しています。 一方,自己教師付き学習の目標は,クラスラベルを使わずにデータの有用な意味情報を復元することである。 我々は,最近の自己教師あり手法を補助タスクとして利用するマルチタスクフレームワークを用いて,両パラダイムの相補性を活用する。
  論文  参考訳（メタデータ） (2021-01-24T23:21:43Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• A Survey on Contrastive Self-supervised Learning [0.0]
  自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。 コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。 本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
  論文  参考訳（メタデータ） (2020-10-31T21:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。