論文の概要: Multi-source Domain Adaptation for Panoramic Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2408.16469v1
• Date: Thu, 29 Aug 2024 12:00:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 14:02:47.148879
• Title: Multi-source Domain Adaptation for Panoramic Semantic Segmentation
• Title（参考訳）: パノラマセマンティックセマンティックセグメンテーションのためのマルチソースドメイン適応
• Authors: Jing Jiang, Sicheng Zhao, Jiankun Zhu, Wenbo Tang, Zhaopan Xu, Jidong Yang, Pengfei Xu, Hongxun Yao,
• Abstract要約: パノラマ的セマンティックセグメンテーションのためのマルチソースドメイン適応のための新しいタスクを提案する。 本研究の目的は, 実際のピンホール合成パノラマ画像の両方をソース領域で活用することであり, セグメンテーションモデルが未ラベルの実際のパノラマ画像に対して良好に動作できるようにすることである。 DTA4PASSはソースドメインのすべてのピンホール画像をパノラマのようなイメージに変換し、変換されたソースドメインをターゲットドメインに整列させる。
• 参考スコア（独自算出の注目度）: 22.367890439050786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panoramic semantic segmentation has received widespread attention recently due to its comprehensive 360\degree field of view. However, labeling such images demands greater resources compared to pinhole images. As a result, many unsupervised domain adaptation methods for panoramic semantic segmentation have emerged, utilizing real pinhole images or low-cost synthetic panoramic images. But, the segmentation model lacks understanding of the panoramic structure when only utilizing real pinhole images, and it lacks perception of real-world scenes when only adopting synthetic panoramic images. Therefore, in this paper, we propose a new task of multi-source domain adaptation for panoramic semantic segmentation, aiming to utilize both real pinhole and synthetic panoramic images in the source domains, enabling the segmentation model to perform well on unlabeled real panoramic images in the target domain. Further, we propose Deformation Transform Aligner for Panoramic Semantic Segmentation (DTA4PASS), which converts all pinhole images in the source domains into panoramic-like images, and then aligns the converted source domains with the target domain. Specifically, DTA4PASS consists of two main components: Unpaired Semantic Morphing (USM) and Distortion Gating Alignment (DGA). Firstly, in USM, the Semantic Dual-view Discriminator (SDD) assists in training the diffeomorphic deformation network, enabling the effective transformation of pinhole images without paired panoramic views. Secondly, DGA assigns pinhole-like and panoramic-like features to each image by gating, and aligns these two features through uncertainty estimation. DTA4PASS outperforms the previous state-of-the-art methods by 1.92% and 2.19% on the outdoor and indoor multi-source domain adaptation scenarios, respectively. The source code will be released.
• Abstract（参考訳）: パノラマ的セマンティックセグメンテーションは、その360度視野が包括的であるため、近年広く注目を集めている。 しかし、そのような画像のラベル付けには、ピンホール画像よりも大きなリソースが必要である。 その結果、実際のピンホール画像や低コストな合成パノラマ画像を利用して、パノラマセマンティックセマンティックセグメンテーションのための多くの教師なしドメイン適応手法が出現した。 しかし, このセグメンテーションモデルでは, 実際のピンホール画像のみを利用する場合にパノラマ構造を理解することができず, 合成パノラマ画像のみを用いる場合, 現実のシーンを知覚することができない。 そこで本研究では,パノラマ・セマンティック・セマンティック・セマンティック・セマンティクスのためのマルチソース・ドメイン・アダプティブ・タスクを提案する。 さらに,パノラマ・セマンティック・セマンティック・セグメンテーション(DTA4PASS)のための変形変換アリグナーを提案する。 具体的には、DTA4PASSは、Unpaired Semantic Morphing (USM)とDistortion Gating Alignment (DGA)の2つの主要コンポーネントから構成される。 第一に、USMでは、セマンティックデュアルビュー判別器(SDD)が微分変形ネットワークのトレーニングを支援し、ペアパノラマビューのないピンホール画像の効果的な変換を可能にする。 第二に、DGAはピンホールのような特徴とパノラマ的な特徴をゲーティングによって各画像に割り当て、不確実性推定によってこれら2つの特徴を整列させる。 DTA4PASSは、屋外および屋内のマルチソースドメイン適応シナリオにおいて、それぞれ1.92%と2.19%という従来の最先端手法よりも優れていた。 ソースコードはリリースされます。

関連論文リスト

• 360SFUDA++: Towards Source-free UDA for Panoramic Segmentation by Learning Reliable Category Prototypes [15.367186190755003]
  ピンホール-パノラマセマンティックセマンティックセマンティックセグメンテーションのための難解なソースフリーな教師なしドメイン適応(SFUDA)について検討する。 360SFUDA++は、未ラベルのパノラマ画像のみを用いて、ソースピンホールモデルから知識を効果的に抽出する。
  論文  参考訳（メタデータ） (2024-04-25T10:52:08Z)
• I2F: A Unified Image-to-Feature Approach for Domain Adaptive Semantic Segmentation [55.633859439375044]
  意味的セグメンテーションのための教師なしドメイン適応(UDA)は、重いアノテーション作業から人々を解放する有望なタスクである。 この問題に対処する主要なアイデアは、画像レベルと特徴レベルの両方を共同で実行することである。 本稿では,画像レベルと特徴レベルを統一したセマンティックセグメンテーションのための新しいUDAパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-01-03T15:19:48Z)
• Behind Every Domain There is a Shift: Adapting Distortion-aware Vision Transformers for Panoramic Semantic Segmentation [73.48323921632506]
  パノラマ的セマンティックセマンティックセグメンテーションは2つの重要な課題により未探索である。 まず、変形性パッチ埋め込み(DPE)と変形性(DMLPv2)モジュールを備えたパノラマセマンティックトランス4PASS+を改良したトランスフォーマーを提案する。 第2に、教師なしドメイン適応パノラマセグメンテーションのための擬似ラベル修正により、Mutual Prototypeal Adaptation(MPA)戦略を強化する。 第3に、Pinhole-to-Panoramic(Pin2Pan)適応とは別に、9,080パノラマ画像を用いた新しいデータセット(SynPASS)を作成します。
  論文  参考訳（メタデータ） (2022-07-25T00:42:38Z)
• Cross-View Panorama Image Synthesis [68.35351563852335]
  PanoGANは、新しい敵対的フィードバックGANフレームワークである。 PanoGANは、最先端のアプローチよりもより説得力のある、高品質なパノラマ画像生成を可能にする。
  論文  参考訳（メタデータ） (2022-03-22T15:59:44Z)
• Bending Reality: Distortion-aware Transformers for Adapting to Panoramic Semantic Segmentation [26.09267582056609]
  大量の高価なピクセル単位のアノテーションは、堅牢なパノラマセグメンテーションモデルの成功に不可欠である。 360度パノラマにおける歪みと画像-特徴分布は、アノテーションに富んだピンホールドメインからの転写を阻害する。 変形性パッチ埋め込み(DPE)および変形性変形性(DMLP)コンポーネントにおける物体変形とパノラマ画像歪みを学習する。 最後に、マルチスケールのプロトタイプ機能を生成することにより、ピンホールとパノラマの特徴埋め込みで共有セマンティクスを結合する。
  論文  参考訳（メタデータ） (2022-03-02T23:00:32Z)
• Transfer beyond the Field of View: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation [30.104947024614127]
  パノラマ的セマンティックセグメンテーションのための教師なしドメイン適応のタスクを形式化する。 DensePASSはドメイン横断条件下でのパノラマセグメンテーションのための新しいデータセットである。 P2PDAはPinhole-to-Panoramicセマンティックセグメンテーションのための汎用フレームワークである。
  論文  参考訳（メタデータ） (2021-10-21T11:22:05Z)
• DensePASS: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation with Attention-Augmented Context Exchange [32.29797061415896]
  パノラマ的セマンティックセグメンテーションのための教師なしドメイン適応のタスクを形式化する。 パノラマ画像の異なるターゲット領域にピンホールカメラデータのソース領域からラベル付き例に基づいて訓練されたネットワークを配置する。 我々は、注目強化ドメイン適応モジュールの異なる変種に基づいて、ドメイン間パノラマセマンティックセマンティックセマンティックセマンティクスのための汎用フレームワークを構築した。
  論文  参考訳（メタデータ） (2021-08-13T20:15:46Z)
• DSP: Dual Soft-Paste for Unsupervised Domain Adaptive Semantic Segmentation [97.74059510314554]
  セグメンテーションのための教師なしドメイン適応(UDA)は、ラベル付きソースドメインで訓練されたセグメンテーションモデルをラベル付きターゲットドメインに適応させることを目的としている。 既存の手法では、大きなドメインギャップに悩まされながら、ドメイン不変の特徴を学習しようとする。 本稿では,新しいDual Soft-Paste (DSP)法を提案する。
  論文  参考訳（メタデータ） (2021-07-20T16:22:40Z)
• Panoramic Panoptic Segmentation: Towards Complete Surrounding Understanding via Unsupervised Contrastive Learning [97.37544023666833]
  我々は,パノラマパオプティックセグメンテーションを最も総合的なシーン理解として導入する。 完全な周囲の理解は、エージェントに最大限の情報を提供する。 標準ピンホール画像のモデルトレーニングを可能にし、学習した機能を異なるドメインに転送するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-01T09:37:27Z)
• Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
  我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。 提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。 2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-02-06T13:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。