論文の概要: Semantic-Aware Fine-Grained Correspondence

• arxiv url: http://arxiv.org/abs/2207.10456v1
• Date: Thu, 21 Jul 2022 12:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 13:12:28.881266
• Title: Semantic-Aware Fine-Grained Correspondence
• Title（参考訳）: セマンティック対応ファイングラインド対応
• Authors: Yingdong Hu, Renhao Wang, Kaifeng Zhang, Yang Gao
• Abstract要約: 本稿では,画像レベルの自己教師付き手法を用いて,セマンティック・アウェアのきめ細かな対応を学習する。 我々は,微粒な対応を特に狙う画素レベルの自己教師型学習目標を設計する。 本手法は,様々な視覚対応タスクにおける畳み込みネットワークを用いた従来の自己教師手法を超越した手法である。
• 参考スコア（独自算出の注目度）: 8.29030327276322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Establishing visual correspondence across images is a challenging and essential task. Recently, an influx of self-supervised methods have been proposed to better learn representations for visual correspondence. However, we find that these methods often fail to leverage semantic information and over-rely on the matching of low-level features. In contrast, human vision is capable of distinguishing between distinct objects as a pretext to tracking. Inspired by this paradigm, we propose to learn semantic-aware fine-grained correspondence. Firstly, we demonstrate that semantic correspondence is implicitly available through a rich set of image-level self-supervised methods. We further design a pixel-level self-supervised learning objective which specifically targets fine-grained correspondence. For downstream tasks, we fuse these two kinds of complementary correspondence representations together, demonstrating that they boost performance synergistically. Our method surpasses previous state-of-the-art self-supervised methods using convolutional networks on a variety of visual correspondence tasks, including video object segmentation, human pose tracking, and human part tracking.
• Abstract（参考訳）: 画像間の視覚的対応を確立することは、困難かつ必須の課題である。 近年,視覚対応のための表現をより良く学習するための自己指導手法が提案されている。 しかし,これらの手法は意味情報の活用に失敗し,低レベルの特徴のマッチングを過度に行うことが多い。 対照的に、人間の視覚はトラッキングの序文として異なる物体を区別することができる。 このパラダイムに触発されて,我々は意味認識のきめ細かな対応を学ぶことを提案する。 まず、画像レベルの自己管理手法の豊富なセットを通して意味的対応が暗黙的に可能であることを示す。 さらに、細粒度対応を目標とする画素レベルの自己教師型学習目標を設計する。 ダウンストリームタスクでは、これら2つの補完対応表現を融合して、パフォーマンスを相乗的に向上させることを示す。 提案手法は,映像オブジェクトのセグメンテーション,人物のポーズ追跡,人的部分追跡など,様々な視覚的対応タスクにおける畳み込みネットワークを用いた従来の自己管理手法を超越した手法である。

関連論文リスト

• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• A semantics-driven methodology for high-quality image annotation [4.7590051176368915]
  本稿では,統合自然言語処理,知識表現,コンピュータビジョンの方法論であるvTelosを提案する。 vTelosの重要な要素は、WordNetのレキシコセマンティック階層を、自然言語ラベルの意味を提供する主要な手段として利用することである。 この手法はImageNet階層のサブセットをポップアップさせるイメージ上で検証される。
  論文  参考訳（メタデータ） (2023-07-26T11:38:45Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• Building a visual semantics aware object hierarchy [0.0]
  視覚的意味論を意識したオブジェクト階層を構築するための新しい教師なし手法を提案する。 この論文の直感は、概念が階層的に組織化されている現実世界の知識表現から来ています。 評価は2つの部分から構成され、まず、構築された階層をオブジェクト認識タスクに適用し、その上で、視覚的階層と既存の語彙階層を比較して、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-02-26T00:10:21Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation [128.03739769844736]
  2つのニューラルコアテンションを分類器に組み込んで、画像間のセマンティックな類似点と相違点をキャプチャする。 オブジェクトパターン学習の強化に加えて、コアテンションは他の関連する画像からのコンテキストを活用して、ローカライズマップの推論を改善することができる。 提案アルゴリズムは,これらすべての設定に対して新たな最先端性を設定し,その有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2020-07-03T21:53:46Z)
• Learning Representations by Predicting Bags of Visual Words [55.332200948110895]
  自己教師付き表現学習ターゲットは、ラベルなしデータから畳み込みに基づく画像表現を学習する。 この分野におけるNLP手法の成功に触発された本研究では,空間的に高密度な画像記述に基づく自己教師型アプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。