論文の概要: Learning Contrastive Representation for Semantic Correspondence

• arxiv url: http://arxiv.org/abs/2109.10967v1
• Date: Wed, 22 Sep 2021 18:34:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 15:03:27.619119
• Title: Learning Contrastive Representation for Semantic Correspondence
• Title（参考訳）: 意味対応のためのコントラスト表現の学習
• Authors: Taihong Xiao, Sifei Liu, Shalini De Mello, Zhiding Yu, Jan Kautz, Ming-Hsuan Yang
• Abstract要約: セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
• 参考スコア（独自算出の注目度）: 150.29135856909477
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Dense correspondence across semantically related images has been extensively studied, but still faces two challenges: 1) large variations in appearance, scale and pose exist even for objects from the same category, and 2) labeling pixel-level dense correspondences is labor intensive and infeasible to scale. Most existing approaches focus on designing various matching approaches with fully-supervised ImageNet pretrained networks. On the other hand, while a variety of self-supervised approaches are proposed to explicitly measure image-level similarities, correspondence matching the pixel level remains under-explored. In this work, we propose a multi-level contrastive learning approach for semantic matching, which does not rely on any ImageNet pretrained model. We show that image-level contrastive learning is a key component to encourage the convolutional features to find correspondence between similar objects, while the performance can be further enhanced by regularizing cross-instance cycle-consistency at intermediate feature levels. Experimental results on the PF-PASCAL, PF-WILLOW, and SPair-71k benchmark datasets demonstrate that our method performs favorably against the state-of-the-art approaches. The source code and trained models will be made available to the public.
• Abstract（参考訳）: 意味的に関連した画像間の密接な対応は広く研究されてきたが、それでも2つの課題に直面している。 1)同じカテゴリーの物であっても、外観、規模、ポーズの大きなバリエーションが存在し、 2)ピクセルレベルの密接な対応のラベル付けは労力がかかり、スケールしにくい。 既存のアプローチのほとんどは、完全に教師されたImageNet事前訓練ネットワークで様々なマッチングアプローチを設計することに焦点を当てている。 一方、画像レベルの類似性を明示的に測定するための様々な自己教師型アプローチが提案されているが、画素レベルの対応性は未探索のままである。 本研究では,ImageNet事前学習モデルに依存しない,意味マッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は,畳み込み特徴の類似オブジェクト間の対応を促進させる上で重要な要素であると同時に,中間的特徴レベルでのクロスインスタンス・サイクル・コンシスタンスを正則化することにより,パフォーマンスをさらに向上できることを示す。 pf-pascal, pf-willow, spair-71kベンチマークデータセットにおける実験結果から, 本手法は最先端手法に対して良好な性能を示す。 ソースコードとトレーニングされたモデルが一般公開される予定だ。

関連論文リスト

• Dual-Level Cross-Modal Contrastive Clustering [4.083185193413678]
  我々はDXMC(Dual-level Cross-Modal Contrastive Clustering)という画像クラスタリングフラムワークを提案する。 画像とテキストのペアを生成するために使用される意味空間を構築するために、外部テキスト情報が導入される。 予め訓練された画像とテキストエンコーダに画像とテキストのペアをそれぞれ送信し、4つのよく設計されたネットワークに次々に供給される画像とテキストの埋め込みを得る。
  論文  参考訳（メタデータ） (2024-09-06T18:49:45Z)
• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• Introspective Deep Metric Learning for Image Retrieval [80.29866561553483]
  良好な類似性モデルは、より堅牢なトレーニングのために曖昧なイメージをよりよく扱うように注意しながら、意味的な相違を考慮すべきである、と我々は主張する。 本稿では,画像の意味的特徴とあいまいさを記述した,意味的埋め込みだけでなく,付随する不確実性埋め込みを用いて画像を表現することを提案する。 提案したIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能向上を実現し,広く使用されているCUB-200-2011,Cars196,Stanford Online Productsデータセットの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-05-09T17:51:44Z)
• LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of Feature Similarity [49.84167231111667]
  自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。 自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。 機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
  論文  参考訳（メタデータ） (2022-04-06T17:48:18Z)
• Cross-View-Prediction: Exploring Contrastive Feature for Hyperspectral Image Classification [9.131465469247608]
  本稿では,ハイパースペクトル画像分類のための自己教師付き特徴学習手法を提案する。 本手法は,クロス表現学習手法を用いて,生のハイパースペクトル画像の2つの異なるビューを構築することを試みる。 そして、コントラスト学習法により、生成したビューに対して意味論的に一貫した表現を学習する。
  論文  参考訳（メタデータ） (2022-03-14T11:07:33Z)
• Dense Semantic Contrast for Self-Supervised Visual Representation Learning [12.636783522731392]
  意味圏決定境界を密度の高いレベルでモデル化するためのDense Semantic Contrast(DSC)を提案する。 本稿では,多粒度表現学習のためのクロスイメージ・セマンティック・コントラッシブ・ラーニング・フレームワークを提案する。 実験結果から,DSCモデルは下流の高密度予測タスクに転送する場合に,最先端の手法よりも優れることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:04:05Z)
• Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
  本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。 提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
  論文  参考訳（メタデータ） (2020-07-21T04:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。