論文の概要: MC-SSL0.0: Towards Multi-Concept Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2111.15340v1
• Date: Tue, 30 Nov 2021 12:36:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 22:21:46.346746
• Title: MC-SSL0.0: Towards Multi-Concept Self-Supervised Learning
• Title（参考訳）: MC-SSL0.0: マルチコンセプトセルフスーパーバイザラーニングを目指して
• Authors: Sara Atito, Muhammad Awais, Ammarah Farooq, Zhenhua Feng, Josef Kittler
• Abstract要約: 自己教師付き事前訓練は、多くの下流視覚アプリケーションにおいて教師付き事前訓練よりも優れていた。 この優位性は、トレーニング画像の不完全ラベル付けによる負の影響によるものである。 本研究では,ラベルを使わずに画像に現れる概念をモデル化する可能性について検討する。
• 参考スコア（独自算出の注目度）: 26.942174776511237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised pretraining is the method of choice for natural language processing models and is rapidly gaining popularity in many vision tasks. Recently, self-supervised pretraining has shown to outperform supervised pretraining for many downstream vision applications, marking a milestone in the area. This superiority is attributed to the negative impact of incomplete labelling of the training images, which convey multiple concepts, but are annotated using a single dominant class label. Although Self-Supervised Learning (SSL), in principle, is free of this limitation, the choice of pretext task facilitating SSL is perpetuating this shortcoming by driving the learning process towards a single concept output. This study aims to investigate the possibility of modelling all the concepts present in an image without using labels. In this aspect the proposed SSL frame-work MC-SSL0.0 is a step towards Multi-Concept Self-Supervised Learning (MC-SSL) that goes beyond modelling single dominant label in an image to effectively utilise the information from all the concepts present in it. MC-SSL0.0 consists of two core design concepts, group masked model learning and learning of pseudo-concept for data token using a momentum encoder (teacher-student) framework. The experimental results on multi-label and multi-class image classification downstream tasks demonstrate that MC-SSL0.0 not only surpasses existing SSL methods but also outperforms supervised transfer learning. The source code will be made publicly available for community to train on bigger corpus.
• Abstract（参考訳）: 自己教師付き事前学習は自然言語処理モデルの選択方法であり、多くの視覚タスクで急速に普及している。 近年、自己監督型事前訓練は、多くの下流視覚アプリケーションにおいて教師付き事前訓練よりも優れており、この分野におけるマイルストーンとなっている。 この優越性は、複数の概念を伝達するが単一の支配的なクラスラベルを使用して注釈付けされるトレーニングイメージの不完全なラベル付けによる負の影響に起因する。 SSL(Self-Supervised Learning)は原則として、この制限はないが、SSLを促進するプリテキストタスクの選択は、学習プロセスを単一の概念出力に向けて推進することによって、この欠点を克服している。 本研究では,ラベルを使わずに画像に現れる概念をモデル化する可能性を検討することを目的とする。 この観点では、提案されたSSLフレームワークMC-SSL0.0は、イメージ内の1つの支配的なラベルをモデル化して、その中のすべての概念から情報を効果的に活用する、マルチコンセプト自己監視学習(MC-SSL)へのステップである。 MC-SSL0.0は、グループマスクモデル学習と、モーメントエンコーダ(教師-学生)フレームワークを使用したデータトークンの擬似概念学習という、2つのコア設計概念で構成されている。 マルチラベルおよびマルチクラス画像分類タスクの実験結果は、MC-SSL0.0が既存のSSLメソッドを超えるだけでなく、教師ありトランスファー学習よりも優れていることを示している。 ソースコードは、コミュニティがより大きなコーパスでトレーニングするために公開されます。

関連論文リスト

• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• GBE-MLZSL: A Group Bi-Enhancement Framework for Multi-Label Zero-Shot Learning [24.075034737719776]
  マルチラベルシナリオ(MLZSL)におけるゼロショット学習の課題について検討する。 本稿では、GBE-MLZSLと呼ばれるMLZSLのための新しい効果的なグループバイエンハンスメントフレームワークを提案し、それらの特性を十分に活用し、より正確で堅牢なビジュアル・セマンティック・プロジェクションを実現する。 大規模なMLZSLベンチマークデータセットであるNAS-WIDEとOpen-Images-v4の実験では、提案したGBE-MLZSLが、最先端の手法よりも大きなマージンを持つことを示した。
  論文  参考訳（メタデータ） (2023-09-02T12:07:21Z)
• Multi-Label Self-Supervised Learning with Scene Images [21.549234013998255]
  本稿では,シーン/マルチラベル画像SSLを多ラベル分類問題として扱うことで,画質の表現を学習可能であることを示す。 提案手法はMulti-Label Self-supervised Learning (MLS) と呼ばれる。
  論文  参考訳（メタデータ） (2023-08-07T04:04:22Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• Self-Supervised Visual Representation Learning via Residual Momentum [15.515169550346517]
  自己教師付き学習(SSL)アプローチは、ラベルのないデータから表現を学ぶ上で有望な能力を示している。 モーメントベースのSSLフレームワークは、オンラインエンコーダ(学生)とモーメントエンコーダ(教師)の間の大きなギャップに悩まされる この論文は、この見えないギャップを既存のSSLフレームワークで見過ごされているボトルネックとして調査し、特定した最初のものである。 本研究では,このギャップを減らし,教師に近い表現をできる限り学習するよう学生に促す「残留運動量」を提案する。
  論文  参考訳（メタデータ） (2022-11-17T19:54:02Z)
• Self-Supervised Learning Through Efference Copies [0.0]
  自己教師付き学習(SSL)手法は、機械学習(ML)のための未ラベルデータの豊富さを活用することを目的としている。 生物学的第一原理に基づくSSLフレームワークは、さまざまなSSLメソッドを統一し、脳内の学習を解明し、MLを改善する可能性がある。
  論文  参考訳（メタデータ） (2022-10-17T16:19:53Z)
• DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
  本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。 画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。 DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
  論文  参考訳（メタデータ） (2022-07-04T11:12:12Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
  単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。 大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。 また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
  論文  参考訳（メタデータ） (2022-03-14T10:04:04Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• FREE: Feature Refinement for Generalized Zero-Shot Learning [86.41074134041394]
  汎用ゼロショット学習(GZSL)は、視覚-意味的領域ギャップと目に見えないバイアスの問題を克服するために多くの努力を払って、大きな進歩を遂げた。 既存のほとんどのメソッドはImageNetでトレーニングされた機能抽出モデルを直接使用しており、ImageNetとGZSLベンチマークのデータセット間のバイアスを無視している。 本稿では,この問題に対処するために,汎用ゼロショット学習(FREE)のための特徴改善という,シンプルで効果的なGZSL法を提案する。
  論文  参考訳（メタデータ） (2021-07-29T08:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。