論文の概要: Both Style and Distortion Matter: Dual-Path Unsupervised Domain
Adaptation for Panoramic Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2303.14360v1
- Date: Sat, 25 Mar 2023 04:57:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 20:21:36.952808
- Title: Both Style and Distortion Matter: Dual-Path Unsupervised Domain
Adaptation for Panoramic Semantic Segmentation
- Title（参考訳）: スタイルと歪みの問題:パノラマ意味セグメンテーションのためのデュアルパス非教師なしドメイン適応
- Authors: Xu Zheng, Jinjing Zhu, Yexin Liu, Zidong Cao, Chong Fu, Lin Wang
- Abstract要約: シーン理解能力はパノラマ画像セマンティックセグメンテーションの活発な研究のきっかけとなった。
等角射影(ERP)とピンホール像を等しく扱い、ピンホールから教師なし領域適応(UDA)を介してERP画像へ知識を伝達する研究もある。
本稿では,ERPおよびTP(タンジェントプロジェクション)画像を入力として用いた,フレキシブルでフレキシブルなデュアルパスUDAフレームワークDPPASSを提案する。
- 参考スコア（独自算出の注目度）: 4.566642023113164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability of scene understanding has sparked active research for panoramic
image semantic segmentation. However, the performance is hampered by distortion
of the equirectangular projection (ERP) and a lack of pixel-wise annotations.
For this reason, some works treat the ERP and pinhole images equally and
transfer knowledge from the pinhole to ERP images via unsupervised domain
adaptation (UDA). However, they fail to handle the domain gaps caused by: 1)
the inherent differences between camera sensors and captured scenes; 2) the
distinct image formats (e.g., ERP and pinhole images). In this paper, we
propose a novel yet flexible dual-path UDA framework, DPPASS, taking ERP and
tangent projection (TP) images as inputs. To reduce the domain gaps, we propose
cross-projection and intra-projection training. The cross-projection training
includes tangent-wise feature contrastive training and prediction consistency
training. That is, the former formulates the features with the same projection
locations as positive examples and vice versa, for the models' awareness of
distortion, while the latter ensures the consistency of cross-model predictions
between the ERP and TP. Moreover, adversarial intra-projection training is
proposed to reduce the inherent gap, between the features of the pinhole images
and those of the ERP and TP images, respectively. Importantly, the TP path can
be freely removed after training, leading to no additional inference cost.
Extensive experiments on two benchmarks show that our DPPASS achieves +1.06$\%$
mIoU increment than the state-of-the-art approaches.
- Abstract（参考訳）: シーン理解能力はパノラマ画像セマンティックセグメンテーションの活発な研究のきっかけとなった。
しかし、その性能は等角射影(erp)の歪みとピクセル単位のアノテーションの欠如によって阻害される。
このため、ERPとピンホール画像を等しく扱い、ピンホールから教師なし領域適応(UDA)を介してERP画像へ知識を伝達する研究もある。
しかし、それらが引き起こされるドメインギャップに対処できない。
1)カメラセンサと撮影シーンの固有の相違
2) 異なる画像フォーマット(ERPやピンホール画像など)。
本稿では,新しいフレキシブルなデュアルパス UDA フレームワーク DPPASS を提案し,ERP とタンジェントプロジェクション (TP) の画像を入力として利用する。
ドメインギャップを低減するため,クロスプロジェクションとイントラプロジェクショントレーニングを提案する。
クロスプロジェクショントレーニングには、直感的特徴比較トレーニングと予測整合トレーニングが含まれる。
すなわち、前者は正の例と同じ射影位置を持つ特徴を定式化し、後者はERPとTPの間のクロスモデル予測の整合性を保証する。
さらに, ピンホール画像の特徴とERP画像とTP画像との相違点を低減するために, 対向射影内トレーニングを提案する。
重要なことは、TPパスはトレーニング後に自由に除去できるため、追加の推論コストは発生しない。
2つのベンチマークにおいて、DPPASS は最先端のアプローチよりも +1.06$\%$ mIoU の増加を達成した。
関連論文リスト
- 360SFUDA++: Towards Source-free UDA for Panoramic Segmentation by Learning Reliable Category Prototypes [15.367186190755003]
ピンホール-パノラマセマンティックセマンティックセマンティックセグメンテーションのための難解なソースフリーな教師なしドメイン適応(SFUDA)について検討する。
360SFUDA++は、未ラベルのパノラマ画像のみを用いて、ソースピンホールモデルから知識を効果的に抽出する。
論文 参考訳（メタデータ） (2024-04-25T10:52:08Z) - Learning to Rank Patches for Unbiased Image Redundancy Reduction [80.93989115541966]
画像は、隣接する領域の画素が空間的に相関しているため、空間的冗長性に悩まされる。
既存のアプローチでは、意味の少ない画像領域を減らし、この制限を克服しようとしている。
本稿では,Learning to Rank Patchesと呼ばれる画像冗長性低減のための自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-31T13:12:41Z) - Semantics, Distortion, and Style Matter: Towards Source-free UDA for Panoramic Segmentation [15.367186190755003]
本稿では、ピンホールからパノラマのセマンティックセマンティックセグメンテーションのための、ソースフリーな教師なしドメイン適応(SFUDA)の問題に対処する。
この問題に取り組むことは、意味的ミスマッチ、スタイルの相違、パノラマ画像の避けられない歪みのため、簡単ではない。
本稿では,Tangent Projection (TP) を用いて歪みを小さくし,固定されたFoVで正方形投影(ERP)をスリットしてピンホール画像を模倣する手法を提案する。
論文 参考訳（メタデータ） (2024-03-19T07:11:53Z) - Adversarial Supervision Makes Layout-to-Image Diffusion Models Thrive [21.49096276631859]
現行のL2Iモデルは、テキスト経由の編集性が悪いか、生成された画像と入力レイアウトとのアライメントが弱いかのいずれかである。
我々は、従来のL2I拡散モデル(ALDM)の訓練パイプラインに敵の監督を統合することを提案する。
具体的には,画像と入力レイアウトとの間の画素レベルのアライメントに対して,拡散発生器に対して明示的なフィードバックを提供するセグメンテーションに基づく判別器を用いる。
論文 参考訳（メタデータ） (2024-01-16T20:31:46Z) - Look at the Neighbor: Distortion-aware Unsupervised Domain Adaptation
for Panoramic Semantic Segmentation [5.352137021024213]
この目的は、等方射影(ERP)の均一分布画素のスタイル不均一性と歪み問題に起因する領域ギャップに対処することである。
パノラマ的セマンティックセグメンテーションの歪み問題に効果的に対処できる新しいUDAフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-10T10:47:12Z) - PiPa: Pixel- and Patch-wise Self-supervised Learning for Domain
Adaptative Semantic Segmentation [100.6343963798169]
教師なしドメイン適応(Unsupervised Domain Adaptation, UDA)は、学習モデルの他のドメインへの一般化を強化することを目的としている。
そこで我々は,ドメイン適応型セマンティックセマンティックセグメンテーションのための,PiPaという,画素・パッチ対応の自己教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-14T18:31:24Z) - BDA-SketRet: Bi-Level Domain Adaptation for Zero-Shot SBIR [52.78253400327191]
BDA-SketRetは、視覚データペアの空間的特徴と意味的特徴を整合させるために、バイレベルドメイン適応を実行する新しいフレームワークである。
拡張されたSketchy、TU-Berlin、QuickDrawの実験結果は、文献よりも大幅に改善された。
論文 参考訳（メタデータ） (2022-01-17T18:45:55Z) - PIT: Position-Invariant Transform for Cross-FoV Domain Adaptation [53.428312630479816]
フィールド・オブ・ビュー(FoV)ギャップは、ソースとターゲットドメイン間の顕著なインスタンスの出現差を誘導する。
本研究では,異なる領域における画像の整合性を改善するために,textbfPosition-Invariant Transform (PIT)を提案する。
論文 参考訳（メタデータ） (2021-08-16T15:16:47Z) - DSP: Dual Soft-Paste for Unsupervised Domain Adaptive Semantic
Segmentation [97.74059510314554]
セグメンテーションのための教師なしドメイン適応(UDA)は、ラベル付きソースドメインで訓練されたセグメンテーションモデルをラベル付きターゲットドメインに適応させることを目的としている。
既存の手法では、大きなドメインギャップに悩まされながら、ドメイン不変の特徴を学習しようとする。
本稿では,新しいDual Soft-Paste (DSP)法を提案する。
論文 参考訳（メタデータ） (2021-07-20T16:22:40Z) - Unsupervised Bidirectional Cross-Modality Adaptation via Deeply
Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。
提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。
2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
論文 参考訳（メタデータ） (2020-02-06T13:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。