論文の概要: Dense Semantic Contrast for Self-Supervised Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2109.07756v1
• Date: Thu, 16 Sep 2021 07:04:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 13:58:16.679273
• Title: Dense Semantic Contrast for Self-Supervised Visual Representation Learning
• Title（参考訳）: 自己監督型視覚表現学習のためのDense Semantic Contrast
• Authors: Xiaoni Li, Yu Zhou, Yifei Zhang, Aoting Zhang, Wei Wang, Ning Jiang, Haiying Wu, Weiping Wang
• Abstract要約: 意味圏決定境界を密度の高いレベルでモデル化するためのDense Semantic Contrast(DSC)を提案する。 本稿では,多粒度表現学習のためのクロスイメージ・セマンティック・コントラッシブ・ラーニング・フレームワークを提案する。 実験結果から,DSCモデルは下流の高密度予測タスクに転送する場合に,最先端の手法よりも優れることがわかった。
• 参考スコア（独自算出の注目度）: 12.636783522731392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised representation learning for visual pre-training has achieved remarkable success with sample (instance or pixel) discrimination and semantics discovery of instance, whereas there still exists a non-negligible gap between pre-trained model and downstream dense prediction tasks. Concretely, these downstream tasks require more accurate representation, in other words, the pixels from the same object must belong to a shared semantic category, which is lacking in the previous methods. In this work, we present Dense Semantic Contrast (DSC) for modeling semantic category decision boundaries at a dense level to meet the requirement of these tasks. Furthermore, we propose a dense cross-image semantic contrastive learning framework for multi-granularity representation learning. Specially, we explicitly explore the semantic structure of the dataset by mining relations among pixels from different perspectives. For intra-image relation modeling, we discover pixel neighbors from multiple views. And for inter-image relations, we enforce pixel representation from the same semantic class to be more similar than the representation from different classes in one mini-batch. Experimental results show that our DSC model outperforms state-of-the-art methods when transferring to downstream dense prediction tasks, including object detection, semantic segmentation, and instance segmentation. Code will be made available.
• Abstract（参考訳）: 視覚前訓練のための自己教師付き表現学習は、サンプル(インスタンスまたはピクセル)の識別と、例のセマンティックス発見で顕著な成功を収めた一方、事前訓練されたモデルと下流の高密度予測タスクの間には、無視できないギャップがある。 具体的には、これらの下流タスクはより正確な表現を必要とし、言い換えれば、同じオブジェクトからのピクセルは、以前のメソッドに欠けている共有セマンティックカテゴリに属しなければならない。 本稿では,これらの課題を満たすために,意味圏決定境界を密度の高いレベルでモデル化するためのDense Semantic Contrast(DSC)を提案する。 さらに,多粒度表現学習のためのクロスイメージ・セマンティックコントラスト学習フレームワークを提案する。 特に,異なる視点から画素間の関係を抽出し,データセットの意味的構造を明らかにする。 画像内関係モデリングでは,複数の視点から画素近傍を探索する。 そして、画像間関係において、同じセマンティッククラスからのピクセル表現を1つのミニバッチ内の異なるクラスからの表現とよりよく似ているように強制する。 実験の結果,dscモデルは,オブジェクト検出やセマンティクスセグメンテーション,インスタンスセグメンテーションなど,下流の密集した予測タスクに移行する場合,最先端の手法よりも優れていることがわかった。 コードは利用可能になる。

関連論文リスト

• Self-supervised Pre-training for Semantic Segmentation in an Indoor Scene [8.357801312689622]
  本稿ではセグメンテーションモデルの自己教師型事前学習手法であるRegConsistを提案する。 我々は,対象環境におけるRGBビューからのセマンティックセグメンテーションを予測するために,コントラスト学習の変種を用いてDCNNモデルを訓練する。 提案手法は、ImageNetで事前訓練されたモデルよりも優れており、全く同じタスクでトレーニングされたモデルと異なるデータセットでトレーニングされたモデルを使用する場合の競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-04T20:10:14Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• Self-supervised Contrastive Learning for Cross-domain Hyperspectral Image Representation [26.610588734000316]
  本稿では,アノテートが本質的に困難であるハイパースペクトル画像に適した自己教師型学習フレームワークを提案する。 提案するフレームワークアーキテクチャは、クロスドメインCNNを利用して、異なるハイパースペクトル画像から表現を学習する。 実験結果は、スクラッチや他の移動学習法から学習したモデルに対して、提案した自己教師型表現の利点を示す。
  論文  参考訳（メタデータ） (2022-02-08T16:16:45Z)
• HCSC: Hierarchical Contrastive Selective Coding [44.655310210531226]
  Hierarchical Contrastive Selective Coding (HCSC)は、新しいコントラスト学習フレームワークである。 画像表現をセマンティック構造に適合させるための精巧なペア選択方式を提案する。 我々は,最先端のコントラスト法よりもHCSCの優れた性能を検証した。
  論文  参考訳（メタデータ） (2022-02-01T15:04:40Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Exploring Set Similarity for Dense Self-supervised Representation Learning [96.35286140203407]
  本研究では,高密度自己教師型表現学習のためのtextbfset textbfsimilarity (SetSim) を提案する。 ピクセルワイドの類似性学習をセットワイドに一般化し,よりセマンティックな情報や構造的な情報を含むため,ロバスト性を向上させる。 具体的には、ビューの注意的特徴に頼って対応する集合を定め、不適切な対応を引き起こす可能性のあるノイズの多い背景をフィルタリングする。
  論文  参考訳（メタデータ） (2021-07-19T09:38:27Z)
• Exploring Cross-Image Pixel Contrast for Semantic Segmentation [130.22216825377618]
  完全教師付きセッティングにおけるセマンティックセグメンテーションのための画素単位のコントラストフレームワークを提案する。 中心となる考え方は、同じセマンティッククラスに属するピクセルの埋め込みを、異なるクラスの埋め込みよりもよく似ているように強制することである。 テスト中に余分なオーバーヘッドを伴わずに既存のセグメンテーションフレームワークに懸命に組み込むことができる。
  論文  参考訳（メタデータ） (2021-01-28T11:35:32Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)
• Learning Representations by Predicting Bags of Visual Words [55.332200948110895]
  自己教師付き表現学習ターゲットは、ラベルなしデータから畳み込みに基づく画像表現を学習する。 この分野におけるNLP手法の成功に触発された本研究では,空間的に高密度な画像記述に基づく自己教師型アプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。