論文の概要: Self-Supervised Visual Representations Learning by Contrastive Mask
Prediction
- arxiv url: http://arxiv.org/abs/2108.07954v1
- Date: Wed, 18 Aug 2021 02:50:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-19 14:42:09.261823
- Title: Self-Supervised Visual Representations Learning by Contrastive Mask
Prediction
- Title(参考訳): コントラストマスク予測による自己監督型視覚表現学習
- Authors: Yucheng Zhao, Guangting Wang, Chong Luo, Wenjun Zeng, Zheng-Jun Zha
- Abstract要約: 視覚表現学習のための新しいコントラストマスク予測(CMP)タスクを提案する。
MaskCoは、ビューレベルの機能ではなく、リージョンレベルの機能と対比している。
我々は、ImageNet以外のデータセットのトレーニングでMaskCoを評価し、そのパフォーマンスをMoCo V2と比較した。
- 参考スコア(独自算出の注目度): 129.25459808288025
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Advanced self-supervised visual representation learning methods rely on the
instance discrimination (ID) pretext task. We point out that the ID task has an
implicit semantic consistency (SC) assumption, which may not hold in
unconstrained datasets. In this paper, we propose a novel contrastive mask
prediction (CMP) task for visual representation learning and design a mask
contrast (MaskCo) framework to implement the idea. MaskCo contrasts
region-level features instead of view-level features, which makes it possible
to identify the positive sample without any assumptions. To solve the domain
gap between masked and unmasked features, we design a dedicated mask prediction
head in MaskCo. This module is shown to be the key to the success of the CMP.
We evaluated MaskCo on training datasets beyond ImageNet and compare its
performance with MoCo V2. Results show that MaskCo achieves comparable
performance with MoCo V2 using ImageNet training dataset, but demonstrates a
stronger performance across a range of downstream tasks when COCO or Conceptual
Captions are used for training. MaskCo provides a promising alternative to the
ID-based methods for self-supervised learning in the wild.
- Abstract(参考訳): 高度な自己教師付き視覚表現学習手法は、インスタンス識別(id)プリテキストタスクに依存する。
我々は、IDタスクは暗黙的な意味一貫性(SC)の仮定を持ち、制約のないデータセットでは保持できないことを指摘している。
本稿では,視覚表現学習のための新しいコントラッシブマスク予測(CMP)タスクを提案し,マスクコントラスト(MaskCo)フレームワークを設計し,その実装について述べる。
MaskCoは、ビューレベルの機能ではなく、リージョンレベルの機能と対比している。
マスク特徴と非マスク特徴の領域ギャップを解決するため,マスク予測専用ヘッドをマスクコで設計する。
このモジュールがCMPの成功の鍵であることが示されている。
私たちはMaskCoをImageNet以外のデータセットのトレーニングで評価し、そのパフォーマンスをMoCo V2と比較した。
その結果,imagenetトレーニングデータセットを使用して,moco v2と同等のパフォーマンスを達成しているが,cocoや概念的キャプションをトレーニングに使用する場合,ダウンストリームタスク全体のパフォーマンスが向上することが示された。
MaskCoは、自己教師型学習のためのIDベースの方法に代わる有望な代替手段を提供する。
関連論文リスト
- Self-Supervised Learning for Visual Relationship Detection through
Masked Bounding Box Reconstruction [6.798515070856465]
表現学習のための新しい自己教師型アプローチ,特に視覚的関係検出(VRD)の課題について述べる。
Masked Image Modeling (MIM) の有効性を活かして, Masked bounding Box Reconstruction (MBBR) を提案する。
論文 参考訳(メタデータ) (2023-11-08T16:59:26Z) - CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。
我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
論文 参考訳(メタデータ) (2023-08-31T09:13:30Z) - Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。
本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。
実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
論文 参考訳(メタデータ) (2023-03-12T05:28:55Z) - MixMask: Revisiting Masking Strategy for Siamese ConvNets [24.20212182301359]
画像中のランダムに消去された領域によって引き起こされる情報の不完全性を防止するために,MixMaskと呼ばれる補充型マスキング手法を提案する。
提案手法は, 線形探索, 半教師付き, 教師付き微調整において, 精度が向上し, 最先端のMSCNよりも有意な差が認められた。
論文 参考訳(メタデータ) (2022-10-20T17:54:03Z) - MaskCLIP: Masked Self-Distillation Advances Contrastive Language-Image
Pretraining [138.86293836634323]
MaskCLIPは、新たに提案されたマスク付き自己蒸留をコントラスト言語イメージ事前学習に組み込む。
MaskCLIPは、言語エンコーダの誘導により、線形探索、微調整、ゼロショット性能において優れた結果が得られる。
論文 参考訳(メタデータ) (2022-08-25T17:59:58Z) - Adversarial Masking for Self-Supervised Learning [81.25999058340997]
自己教師付き学習のためのマスク付き画像モデル(MIM)フレームワークであるADIOSを提案する。
対向目的物を用いてマスキング機能と画像エンコーダを同時に学習する。
さまざまなタスクやデータセットに対する最先端の自己教師付き学習(SSL)メソッドを一貫して改善する。
論文 参考訳(メタデータ) (2022-01-31T10:23:23Z) - PointINS: Point-based Instance Segmentation [117.38579097923052]
POI(Point-of-Interest)機能によるインスタンスセグメンテーションにおけるマスク表現は、各インスタンスの高次元マスク機能を学ぶには、計算負荷が重いため、難しい。
本稿では、このマスク表現学習タスクを2つの抽出可能なモジュールに分解するインスタンス認識畳み込みを提案する。
インスタンス認識の畳み込みとともに、単純で実用的なインスタンスセグメンテーションアプローチであるPointINSを提案する。
論文 参考訳(メタデータ) (2020-03-13T08:24:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。