論文の概要: Semantics, Distortion, and Style Matter: Towards Source-free UDA for Panoramic Segmentation
- arxiv url: http://arxiv.org/abs/2403.12505v2
- Date: Fri, 22 Mar 2024 15:41:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 11:48:40.938587
- Title: Semantics, Distortion, and Style Matter: Towards Source-free UDA for Panoramic Segmentation
- Title（参考訳）: セマンティックス, 歪み, スタイル項目:パノラマセグメンテーションのためのソースフリーUDAを目指して
- Authors: Xu Zheng, Pengyuan Zhou, Athanasios V. Vasilakos, Lin Wang,
- Abstract要約: 本稿では、ピンホールからパノラマのセマンティックセマンティックセグメンテーションのための、ソースフリーな教師なしドメイン適応(SFUDA)の問題に対処する。
この問題に取り組むことは、意味的ミスマッチ、スタイルの相違、パノラマ画像の避けられない歪みのため、簡単ではない。
本稿では,Tangent Projection (TP) を用いて歪みを小さくし,固定されたFoVで正方形投影(ERP)をスリットしてピンホール画像を模倣する手法を提案する。
- 参考スコア（独自算出の注目度）: 15.367186190755003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses an interesting yet challenging problem -- source-free unsupervised domain adaptation (SFUDA) for pinhole-to-panoramic semantic segmentation -- given only a pinhole image-trained model (i.e., source) and unlabeled panoramic images (i.e., target). Tackling this problem is nontrivial due to the semantic mismatches, style discrepancies, and inevitable distortion of panoramic images. To this end, we propose a novel method that utilizes Tangent Projection (TP) as it has less distortion and meanwhile slits the equirectangular projection (ERP) with a fixed FoV to mimic the pinhole images. Both projections are shown effective in extracting knowledge from the source model. However, the distinct projection discrepancies between source and target domains impede the direct knowledge transfer; thus, we propose a panoramic prototype adaptation module (PPAM) to integrate panoramic prototypes from the extracted knowledge for adaptation. We then impose the loss constraints on both predictions and prototypes and propose a cross-dual attention module (CDAM) at the feature level to better align the spatial and channel characteristics across the domains and projections. Both knowledge extraction and transfer processes are synchronously updated to reach the best performance. Extensive experiments on the synthetic and real-world benchmarks, including outdoor and indoor scenarios, demonstrate that our method achieves significantly better performance than prior SFUDA methods for pinhole-to-panoramic adaptation.
- Abstract（参考訳）: 本稿では、ピンホール画像訓練モデル(ソース)と未ラベルパノラマ画像(ターゲット)のみを前提とした、ピンホールからパノラマ的セマンティックセマンティックセマンティックセグメンテーションのための、ソースフリーな教師なしドメイン適応(SFUDA)という興味深い課題に対処する。
この問題に取り組むことは、意味的ミスマッチ、スタイルの相違、パノラマ画像の避けられない歪みのため、簡単ではない。
そこで本研究では,Tangent Projection (TP) を用いて歪みを小さくし,固定されたFoVで正方形投影(ERP)をスリットしてピンホール画像を模倣する手法を提案する。
どちらのプロジェクションも、ソースモデルから知識を抽出するのに効果的である。
しかし、ソースドメインとターゲットドメインの差は直接知識伝達を妨げるため、抽出した知識からパノラマプロトタイプを統合するためのパノラマプロトタイプ適応モジュール(PPAM)を提案する。
そこで我々は, 予測とプロトタイプの両方に損失制約を課し, ドメインとプロジェクション間の空間特性とチャネル特性の整合性を改善するために, 機能レベルでの相互注意モジュール (CDAM) を提案する。
知識抽出と転送プロセスは同期的に更新され、最高のパフォーマンスを得る。
室内・屋外のシナリオを含む,合成および実世界のベンチマーク実験により,本手法は従来のSFUDA法に比べてピンホール・パノラマ適応法よりも有意に優れた性能を示した。
関連論文リスト
- Mind the Gap Between Prototypes and Images in Cross-domain Finetuning [64.97317635355124]
プロトタイプと画像にそれぞれ異なる変換を適用するために,コントラスト型プロトタイプイメージ適応(CoPA)を提案する。
Meta-Datasetの実験では、CoPAが最先端のパフォーマンスをより効率的に達成できることが示されている。
論文 参考訳（メタデータ） (2024-10-16T11:42:11Z) - Reducing Semantic Ambiguity In Domain Adaptive Semantic Segmentation Via Probabilistic Prototypical Pixel Contrast [7.092718945468069]
ドメイン適応は、ソースとターゲットドメイン間のドメインシフトに起因するターゲットドメインのモデル劣化を低減することを目的としています。
確率的原型画素コントラスト(probabilistic proto-typeal pixel contrast、PPPC)は、各画素の埋め込みを確率としてモデル化する普遍的な適応フレームワークである。
PPPCは、画素レベルでの曖昧さに対処するだけでなく、識別的表現をもたらすだけでなく、合成からリアルタイム、および日毎の適応タスクにおいて大きな改善をもたらす。
論文 参考訳（メタデータ） (2024-09-27T08:25:03Z) - 360SFUDA++: Towards Source-free UDA for Panoramic Segmentation by Learning Reliable Category Prototypes [15.367186190755003]
ピンホール-パノラマセマンティックセマンティックセマンティックセグメンテーションのための難解なソースフリーな教師なしドメイン適応(SFUDA)について検討する。
360SFUDA++は、未ラベルのパノラマ画像のみを用いて、ソースピンホールモデルから知識を効果的に抽出する。
論文 参考訳（メタデータ） (2024-04-25T10:52:08Z) - Forgery-aware Adaptive Transformer for Generalizable Synthetic Image
Detection [106.39544368711427]
本研究では,様々な生成手法から偽画像を検出することを目的とした,一般化可能な合成画像検出の課題について検討する。
本稿では,FatFormerという新しいフォージェリー適応トランスフォーマー手法を提案する。
提案手法は, 平均98%の精度でGANを観測し, 95%の精度で拡散モデルを解析した。
論文 参考訳（メタデータ） (2023-12-27T17:36:32Z) - Look at the Neighbor: Distortion-aware Unsupervised Domain Adaptation
for Panoramic Semantic Segmentation [5.352137021024213]
この目的は、等方射影(ERP)の均一分布画素のスタイル不均一性と歪み問題に起因する領域ギャップに対処することである。
パノラマ的セマンティックセグメンテーションの歪み問題に効果的に対処できる新しいUDAフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-10T10:47:12Z) - Both Style and Distortion Matter: Dual-Path Unsupervised Domain
Adaptation for Panoramic Semantic Segmentation [4.566642023113164]
シーン理解能力はパノラマ画像セマンティックセグメンテーションの活発な研究のきっかけとなった。
等角射影(ERP)とピンホール像を等しく扱い、ピンホールから教師なし領域適応(UDA)を介してERP画像へ知識を伝達する研究もある。
本稿では,ERPおよびTP(タンジェントプロジェクション)画像を入力として用いた,フレキシブルでフレキシブルなデュアルパスUDAフレームワークDPPASSを提案する。
論文 参考訳（メタデータ） (2023-03-25T04:57:45Z) - Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。
まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。
本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
論文 参考訳（メタデータ） (2023-02-16T10:40:55Z) - Towards Effective Image Manipulation Detection with Proposal Contrastive
Learning [61.5469708038966]
本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。
我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。
我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
論文 参考訳（メタデータ） (2022-10-16T13:30:13Z) - Feature Alignment by Uncertainty and Self-Training for Source-Free
Unsupervised Domain Adaptation [1.6498361958317636]
ほとんどの教師なし領域適応(UDA)手法は、ラベル付きソースイメージがモデル適応中に利用できると仮定する。
本稿では,事前学習したソースモデルと未ラベルのターゲット画像のみを用いる,ソースフリーなUDA手法を提案する。
本手法は,データ拡張を取り入れ,特徴発生器を2つの整合性目標で訓練することにより,アレータリックな不確実性を捕捉する。
論文 参考訳（メタデータ） (2022-08-31T14:28:36Z) - BDA-SketRet: Bi-Level Domain Adaptation for Zero-Shot SBIR [52.78253400327191]
BDA-SketRetは、視覚データペアの空間的特徴と意味的特徴を整合させるために、バイレベルドメイン適応を実行する新しいフレームワークである。
拡張されたSketchy、TU-Berlin、QuickDrawの実験結果は、文献よりも大幅に改善された。
論文 参考訳（メタデータ） (2022-01-17T18:45:55Z) - Semi-Supervised Domain Adaptation with Prototypical Alignment and
Consistency Learning [86.6929930921905]
本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。
ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。
具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
論文 参考訳（メタデータ） (2021-04-19T08:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。