論文の概要: Can Semantic Labels Assist Self-Supervised Visual Representation Learning?

• arxiv url: http://arxiv.org/abs/2011.08621v1
• Date: Tue, 17 Nov 2020 13:25:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 16:56:37.157709
• Title: Can Semantic Labels Assist Self-Supervised Visual Representation Learning?
• Title（参考訳）: セマンティックラベルは自己監督型視覚表現学習を支援するか?
• Authors: Longhui Wei, Lingxi Xie, Jianzhong He, Jianlong Chang, Xiaopeng Zhang, Wengang Zhou, Houqiang Li, Qi Tian
• Abstract要約: 近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
• 参考スコア（独自算出の注目度）: 194.1681088693248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, contrastive learning has largely advanced the progress of unsupervised visual representation learning. Pre-trained on ImageNet, some self-supervised algorithms reported higher transfer learning performance compared to fully-supervised methods, seeming to deliver the message that human labels hardly contribute to learning transferrable visual features. In this paper, we defend the usefulness of semantic labels but point out that fully-supervised and self-supervised methods are pursuing different kinds of features. To alleviate this issue, we present a new algorithm named Supervised Contrastive Adjustment in Neighborhood (SCAN) that maximally prevents the semantic guidance from damaging the appearance feature embedding. In a series of downstream tasks, SCAN achieves superior performance compared to previous fully-supervised and self-supervised methods, and sometimes the gain is significant. More importantly, our study reveals that semantic labels are useful in assisting self-supervised methods, opening a new direction for the community.
• Abstract（参考訳）: 近年,コントラスト学習は,教師なし視覚表現学習の進歩に大きく進展している。 imagenetで事前トレーニングされた一部の自己教師付きアルゴリズムは、完全な教師付きメソッドよりも転送学習のパフォーマンスが高いと報告した。 本稿では,セマンティクスラベルの有用性を擁護する一方で,完全教師付きおよび自己教師付き手法が異なる特徴を追求していることを指摘する。 この問題を軽減するため,提案手法はSCAN (Supervised Contrastive Adjustment in Neighborhood) と呼ばれるアルゴリズムを新たに提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 さらに重要なことは、セマンティックラベルは、自己教師付き手法を支援するのに有用であり、コミュニティに新たな方向性を開くことである。

関連論文リスト

• On minimal variations for unsupervised representation learning [19.055611167696238]
  教師なし表現学習は、様々な下流タスクを解決するために、生データを効率的に記述することを目的としている。 教師なし表現学習の原則として最小限のバリエーションを考案することは、自己教師付き学習アルゴリズムの実践的ガイドラインを改善する道を開く。
  論文  参考訳（メタデータ） (2022-11-07T18:57:20Z)
• Semantic-Aware Fine-Grained Correspondence [8.29030327276322]
  本稿では,画像レベルの自己教師付き手法を用いて,セマンティック・アウェアのきめ細かな対応を学習する。 我々は,微粒な対応を特に狙う画素レベルの自己教師型学習目標を設計する。 本手法は,様々な視覚対応タスクにおける畳み込みネットワークを用いた従来の自己教師手法を超越した手法である。
  論文  参考訳（メタデータ） (2022-07-21T12:51:41Z)
• Prefix Conditioning Unifies Language and Label Supervision [84.11127588805138]
  視覚言語によるコントラスト学習は,大量の画像キャプションペアデータを活用することによって,新たな学習パラダイムを提案する。 近年の研究では、クラスラベルをプロンプトと呼ばれる事前定義されたテンプレートで文に変換する方法が提案されている。 プレフィックストークンを用いて,これらの2種類の監督を統一する,シンプルかつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-02T16:12:26Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation [0.41436032949434404]
  教師付き学習は、最先端のパフォーマンスに到達するために大量のラベル付きデータを必要とする。 ラベル付けのコストを回避するため,ラベル付けされていないデータを利用する自己管理手法が提案された。 本研究は,特徴表現のための自己監督パラダイムにおける近年の展開に関する包括的で洞察に富んだ調査と分析を行う。
  論文  参考訳（メタデータ） (2021-11-03T07:02:34Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks [0.0]
  最近の少数ショット学習の研究は、学習された表現の質が少数ショット分類のパフォーマンスにおいて重要な役割を果たしていることを示しています。 一方,自己教師付き学習の目標は,クラスラベルを使わずにデータの有用な意味情報を復元することである。 我々は,最近の自己教師あり手法を補助タスクとして利用するマルチタスクフレームワークを用いて,両パラダイムの相補性を活用する。
  論文  参考訳（メタデータ） (2021-01-24T23:21:43Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• A Survey on Contrastive Self-supervised Learning [0.0]
  自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。 コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。 本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
  論文  参考訳（メタデータ） (2020-10-31T21:05:04Z)
• Self-supervised Video Object Segmentation [76.83567326586162]
  本研究の目的は、半教師付きビデオオブジェクトセグメンテーション(高密度トラッキング)の解決を目的とした自己教師付き表現学習である。 i) 従来の自己教師型アプローチを改善すること、(ii) オンライン適応モジュールによる自己教師型アプローチの強化により、空間的時間的不連続性によるトラッカーのドリフトを緩和すること、(iv) DAVIS-2017とYouTubeの自己教師型アプローチで最先端の結果を示すこと、などが提案されている。
  論文  参考訳（メタデータ） (2020-06-22T17:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。