論文の概要: Learning Semantic Correspondence with Sparse Annotations
- arxiv url: http://arxiv.org/abs/2208.06974v2
- Date: Wed, 17 Aug 2022 17:59:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 10:31:56.991296
- Title: Learning Semantic Correspondence with Sparse Annotations
- Title(参考訳): スパースアノテーションを用いた意味対応学習
- Authors: Shuaiyi Huang, Luyu Yang, Bo He, Songyang Zhang, Xuming He, Abhinav
Shrivastava
- Abstract要約: 密接な意味的対応を見つけることは、コンピュータビジョンの基本的な問題である。
本研究では,高密度な擬似ラベルを生成するための教師学習パラダイムを提案する。
また、擬似ラベルを識別するための2つの新しい戦略も開発している。
- 参考スコア(独自算出の注目度): 66.37298464505261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finding dense semantic correspondence is a fundamental problem in computer
vision, which remains challenging in complex scenes due to background clutter,
extreme intra-class variation, and a severe lack of ground truth. In this
paper, we aim to address the challenge of label sparsity in semantic
correspondence by enriching supervision signals from sparse keypoint
annotations. To this end, we first propose a teacher-student learning paradigm
for generating dense pseudo-labels and then develop two novel strategies for
denoising pseudo-labels. In particular, we use spatial priors around the sparse
annotations to suppress the noisy pseudo-labels. In addition, we introduce a
loss-driven dynamic label selection strategy for label denoising. We
instantiate our paradigm with two variants of learning strategies: a single
offline teacher setting, and mutual online teachers setting. Our approach
achieves notable improvements on three challenging benchmarks for semantic
correspondence and establishes the new state-of-the-art. Project page:
https://shuaiyihuang.github.io/publications/SCorrSAN.
- Abstract(参考訳): 密接な意味的対応を見つけることはコンピュータビジョンの根本的な問題であり、背景の混乱、極端なクラス内変異、そして厳格な根拠の欠如のために複雑な場面では依然として困難である。
本稿では,スパースキーポイントアノテーションからの監視信号の強化により,意味的対応におけるラベルの空間性の問題に対処することを目的とする。
そこで我々はまず,高密度な擬似ラベルを生成するための教師学習パラダイムを提案し,その上で,擬似ラベルを識別するための2つの新しい戦略を開発した。
特に、スパースアノテーションの周囲の空間的先行値を用いて、ノイズの多い擬似ラベルを抑える。
また,ラベル表示のための損失駆動動的ラベル選択戦略も導入する。
我々は,1つのオフライン教師設定と相互オンライン教師設定という,2種類の学習戦略でパラダイムをインスタンス化する。
提案手法はセマンティック対応のための3つの挑戦的ベンチマークにおいて顕著な改善を実現し,新しい最先端技術を確立する。
プロジェクトページ:https://shuaiyihuang.github.io/publications/SCorrSAN
関連論文リスト
- Scribble Hides Class: Promoting Scribble-Based Weakly-Supervised
Semantic Segmentation with Its Class Label [16.745019028033518]
画像レベルのクラスから情報を得たスクリブルアノテーションと擬似ラベルと、監督のためのグローバルセマンティクスの両方を利用するクラス駆動型スクリブルプロモーションネットワークを提案する。
スクリブルアノテーションの異なる性質を持つScribbleSupデータセットの実験は、従来の手法よりも優れており、本手法の優位性と堅牢性を示している。
論文 参考訳(メタデータ) (2024-02-27T14:51:56Z) - Match me if you can: Semantic Correspondence Learning with Unpaired
Images [82.05105090432025]
制限された画像対とスパース点対の両方を補完する、ラベルのないペアでトレーニングを行う、単純で効果的な方法を提案する。
簡単な教師/学生の枠組みを用いて,学生ネットワークに信頼性の高い擬似通信を機械の監督を通じて提供する。
我々のモデルは,セマンティック対応ベンチマークの最先端手法を含む,マイルストーンベースラインを上回ります。
論文 参考訳(メタデータ) (2023-11-30T13:22:15Z) - DualCoOp++: Fast and Effective Adaptation to Multi-Label Recognition
with Limited Annotations [79.433122872973]
低ラベル体制における多ラベル画像認識は、大きな課題と実践的重要性の課題である。
我々は、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴の強力なアライメントを活用する。
Evidence-guided Dual Context Optimization (DualCoOp++) という,効率的かつ効果的なフレームワークを導入する。
論文 参考訳(メタデータ) (2023-08-03T17:33:20Z) - Semantic Contrastive Bootstrapping for Single-positive Multi-label
Recognition [36.3636416735057]
本研究では,意味的コントラスト型ブートストラップ法(Scob)を用いて,オブジェクト間の関係を徐々に回復する手法を提案する。
次に、アイコン的オブジェクトレベルの表現を抽出する再帰的セマンティックマスク変換器を提案する。
大規模な実験結果から,提案手法が最先端のモデルを超えていることが示唆された。
論文 参考訳(メタデータ) (2023-07-15T01:59:53Z) - Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。
擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。
アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
論文 参考訳(メタデータ) (2022-06-13T14:04:57Z) - Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels [26.542718087103665]
SemiMatchは意味論的に類似した画像間の密接な対応を確立するための半教師付きソリューションである。
筆者らのフレームワークは,ソースと弱増強ターゲット間のモデル予測自体を用いて擬似ラベルを生成し,擬似ラベルを用いてソースと強増強ターゲット間のモデルの再学習を行う。
実験では、SemiMatchは様々なベンチマーク、特にPF-Willowにおける最先端のパフォーマンスを大きなマージンで達成している。
論文 参考訳(メタデータ) (2022-03-30T03:52:50Z) - Beyond Semantic to Instance Segmentation: Weakly-Supervised Instance
Segmentation via Semantic Knowledge Transfer and Self-Refinement [31.42799434158569]
イメージレベルのラベルのみを用いたインスタンスワイドなローカライゼーションは難しいため、弱教師付きインスタンスセグメンテーション(WSIS)はより難しい作業である。
本稿では、2つの革新的なコンポーネントからなる新しいアプローチを提案する。
まず、WSSSの知識をWSISに転送することで、擬似インスタンスラベルを得るための意味的知識伝達を設計する。
第2に,擬似インスタンスラベルを自己教師型スキームで洗練し,オンライン学習に活用する自己補充手法を提案する。
論文 参考訳(メタデータ) (2021-09-20T12:31:44Z) - Refining Pseudo Labels with Clustering Consensus over Generations for
Unsupervised Object Re-identification [84.72303377833732]
教師なしのオブジェクト再識別は、アノテーションなしでオブジェクト検索のための識別表現を学習することを目的としている。
本稿では,クラスタリングコンセンサスを用いた連続学習世代間の擬似ラベル類似性を推定し,時間的に伝播およびアンサンブルされた擬似ラベルを用いた洗練された擬似ラベルを提案する。
提案する擬似ラベル精錬戦略は単純だが有効であり、既存のクラスタリングに基づく教師なし再同定手法にシームレスに統合することができる。
論文 参考訳(メタデータ) (2021-06-11T02:42:42Z) - Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。
この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
論文 参考訳(メタデータ) (2020-02-16T09:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。