論文の概要: Match me if you can: Semantic Correspondence Learning with Unpaired
Images
- arxiv url: http://arxiv.org/abs/2311.18540v1
- Date: Thu, 30 Nov 2023 13:22:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 16:32:17.354265
- Title: Match me if you can: Semantic Correspondence Learning with Unpaired
Images
- Title(参考訳): 出来ればマッチする: 意味的対応学習と非ペア画像
- Authors: Jiwon Kim, Byeongho Heo, Sangdoo Yun, Seungryong Kim, Dongyoon Han
- Abstract要約: 制限された画像対とスパース点対の両方を補完する、ラベルのないペアでトレーニングを行う、単純で効果的な方法を提案する。
簡単な教師/学生の枠組みを用いて,学生ネットワークに信頼性の高い擬似通信を機械の監督を通じて提供する。
我々のモデルは,セマンティック対応ベンチマークの最先端手法を含む,マイルストーンベースラインを上回ります。
- 参考スコア(独自算出の注目度): 82.05105090432025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent approaches for semantic correspondence have focused on obtaining
high-quality correspondences using a complicated network, refining the
ambiguous or noisy matching points. Despite their performance improvements,
they remain constrained by the limited training pairs due to costly point-level
annotations. This paper proposes a simple yet effective method that performs
training with unlabeled pairs to complement both limited image pairs and sparse
point pairs, requiring neither extra labeled keypoints nor trainable modules.
We fundamentally extend the data quantity and variety by augmenting new
unannotated pairs not primitively provided as training pairs in benchmarks.
Using a simple teacher-student framework, we offer reliable pseudo
correspondences to the student network via machine supervision. Finally, the
performance of our network is steadily improved by the proposed iterative
training, putting back the student as a teacher to generate refined labels and
train a new student repeatedly. Our models outperform the milestone baselines,
including state-of-the-art methods on semantic correspondence benchmarks.
- Abstract(参考訳): 意味対応の最近のアプローチは、複雑なネットワークを用いて高品質な対応を得ることに重点を置いており、あいまいまたはノイズの多いマッチングポイントを精査している。
パフォーマンスは向上したが、コストのかかるポイントレベルのアノテーションのため、トレーニングペアが制限されている。
本稿では,制限された画像対とスパースな点対の両方を補完するラベル付きペアによる訓練を簡易かつ効果的に行う方法を提案する。
ベンチマークのトレーニングペアとしてプリミティブに提供されていない新しい無注釈ペアを補強することで、データ量と多様性を根本的に拡張します。
簡単な教師/学生の枠組みを用いて,学生ネットワークに信頼性の高い擬似通信を機械の監督を通じて提供する。
最後に,提案した反復学習によってネットワークの性能が着実に向上し,教師として学生を振り返り,洗練されたラベルを作成し,新しい学生を繰り返し訓練する。
我々のモデルは,セマンティック対応ベンチマークの最先端手法を含む,マイルストーンベースラインを上回ります。
関連論文リスト
- DualCoOp++: Fast and Effective Adaptation to Multi-Label Recognition
with Limited Annotations [79.433122872973]
低ラベル体制における多ラベル画像認識は、大きな課題と実践的重要性の課題である。
我々は、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴の強力なアライメントを活用する。
Evidence-guided Dual Context Optimization (DualCoOp++) という,効率的かつ効果的なフレームワークを導入する。
論文 参考訳(メタデータ) (2023-08-03T17:33:20Z) - Semantic Contrastive Bootstrapping for Single-positive Multi-label
Recognition [36.3636416735057]
本研究では,意味的コントラスト型ブートストラップ法(Scob)を用いて,オブジェクト間の関係を徐々に回復する手法を提案する。
次に、アイコン的オブジェクトレベルの表現を抽出する再帰的セマンティックマスク変換器を提案する。
大規模な実験結果から,提案手法が最先端のモデルを超えていることが示唆された。
論文 参考訳(メタデータ) (2023-07-15T01:59:53Z) - Learning Semantic Correspondence with Sparse Annotations [66.37298464505261]
密接な意味的対応を見つけることは、コンピュータビジョンの基本的な問題である。
本研究では,高密度な擬似ラベルを生成するための教師学習パラダイムを提案する。
また、擬似ラベルを識別するための2つの新しい戦略も開発している。
論文 参考訳(メタデータ) (2022-08-15T02:24:18Z) - Contrastive Test-Time Adaptation [83.73506803142693]
本稿では,自己指導型コントラスト学習を活用して特徴学習を支援する新しい手法を提案する。
擬似ラベルをオンラインで作成し、ターゲットのフィーチャースペースに最も近い隣人の間でソフト投票によってそれらを洗練します。
我々の手法であるAdaContrastは、主要なベンチマーク上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-04-21T19:17:22Z) - Joint Learning of Feature Extraction and Cost Aggregation for Semantic
Correspondence [30.488870941738636]
意味対応のための特徴抽出とコスト集約を共同で学習する新しいフレームワークを提案する。
ネットワークを弱教師付きで学習するための信頼度を考慮したコントラスト損失関数を提案する。
論文 参考訳(メタデータ) (2022-04-05T12:45:49Z) - Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels [26.542718087103665]
SemiMatchは意味論的に類似した画像間の密接な対応を確立するための半教師付きソリューションである。
筆者らのフレームワークは,ソースと弱増強ターゲット間のモデル予測自体を用いて擬似ラベルを生成し,擬似ラベルを用いてソースと強増強ターゲット間のモデルの再学習を行う。
実験では、SemiMatchは様々なベンチマーク、特にPF-Willowにおける最先端のパフォーマンスを大きなマージンで達成している。
論文 参考訳(メタデータ) (2022-03-30T03:52:50Z) - Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised
Semantic Segmentation [88.49669148290306]
そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。
同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。
学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
論文 参考訳(メタデータ) (2021-07-25T11:39:58Z) - One Thing One Click: A Self-Training Approach for Weakly Supervised 3D
Semantic Segmentation [78.36781565047656]
私たちは、アノテーションーがオブジェクトごとに1ポイントだけラベルを付ける必要があることを意味する「One Thing One Click」を提案します。
グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。
私たちの結果は、完全に監督されたものと同等です。
論文 参考訳(メタデータ) (2021-04-06T02:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。