論文の概要: Multi-source Domain Adaptation for Panoramic Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2408.16469v2
• Date: Tue, 07 Jan 2025 12:02:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:47:29.589791
• Title: Multi-source Domain Adaptation for Panoramic Semantic Segmentation
• Title（参考訳）: パノラマセマンティックセマンティックセグメンテーションのためのマルチソースドメイン適応
• Authors: Jing Jiang, Sicheng Zhao, Jiankun Zhu, Wenbo Tang, Zhaopan Xu, Jidong Yang, Guoping Liu, Tengfei Xing, Pengfei Xu, Hongxun Yao,
• Abstract要約: パノラマセマンティックセグメンテーションの方法は、実際のパノラマ画像にセグメンテーションモデルを転送するために、実際のピンホール画像または低コストの合成パノラマ画像を利用する。 MSDA4PASSは、実際のピンホールと合成パノラマ画像の両方を用いて、ラベルのない実際のパノラマ画像のセグメンテーションを改善する。 MSDA4PASSは2つの主要コンポーネントから構成される: Unpaired Semantic Morphing (USM) と Distortion Gating Alignment (DGA) である。
• 参考スコア（独自算出の注目度）: 21.6293634368587
• License:
• Abstract: Unsupervised domain adaptation methods for panoramic semantic segmentation utilize real pinhole images or low-cost synthetic panoramic images to transfer segmentation models to real panoramic images. However, these methods struggle to understand the panoramic structure using only real pinhole images and lack real-world scene perception with only synthetic panoramic images. Therefore, in this paper, we propose a new task, Multi-source Domain Adaptation for Panoramic Semantic Segmentation (MSDA4PASS), which leverages both real pinhole and synthetic panoramic images to improve segmentation on unlabeled real panoramic images. There are two key issues in the MSDA4PASS task: (1) distortion gaps between the pinhole and panoramic domains -- panoramic images exhibit global and local distortions absent in pinhole images; (2) texture gaps between the source and target domains -- scenes and styles differ across domains. To address these two issues, we propose a novel framework, Deformation Transform Aligner for Panoramic Semantic Segmentation (DTA4PASS), which converts all pinhole images in the source domains into distorted images and aligns the source distorted and panoramic images with the target panoramic images. Specifically, DTA4PASS consists of two main components: Unpaired Semantic Morphing (USM) and Distortion Gating Alignment (DGA). First, in USM, the Dual-view Discriminator (DvD) assists in training the diffeomorphic deformation network at the image and pixel level, enabling the effective deformation transformation of pinhole images without paired panoramic views, alleviating distortion gaps. Second, DGA assigns pinhole-like (pin-like) and panoramic-like (pan-like) features to each image by gating, and aligns these two features through uncertainty estimation, reducing texture gaps.
• Abstract（参考訳）: パノラマセマンティックセグメンテーションのための教師なしドメイン適応手法は、実際のピンホール画像または低コストの合成パノラマ画像を用いて、セグメンテーションモデルを実際のパノラマ画像に転送する。 しかし、これらの手法は、実際のピンホール画像のみを用いてパノラマ構造を理解するのに苦労し、合成パノラマ画像だけでは現実のシーン認識を欠いている。 そこで本研究では,パノラマ画像と合成パノラマ画像の両方を利用して,未ラベルのパノラマ画像のセグメンテーションを改善するマルチソース領域適応型パノラマセグメンテーション(MSDA4PASS)を提案する。 1 ピンホール領域とパノラマ領域間の歪みギャップ(パノラマ画像はピンホール画像に欠落しているグローバルおよびローカル歪み)、2 ソースとターゲットドメイン間のテクスチャギャップ(シーンとスタイル)はドメインによって異なる。 これら2つの課題に対処するために,パノラマセマンティック・セマンティック・セマンティック・セマンティック・セマンティクス(DTA4PASS)のための変形変換アリグナー(Aligner for Panoramic Semantic Semantic Segmentation)を提案する。 具体的には、DTA4PASSは、Unpaired Semantic Morphing (USM)とDistortion Gating Alignment (DGA)の2つの主要コンポーネントから構成される。 第一に、USMでは、Dual-view Discriminator (DvD) が、画像と画素レベルでの微分変形ネットワークのトレーニングを支援し、ペアパノラマビューのないピンホール画像の効果的な変形変換を可能にし、歪みギャップを緩和する。 第二に、DGAはピンホールのような(ピンのような)特徴とパノラマのような(パンのような)特徴をゲーティングによって各画像に割り当て、不確実性評価によってこれら2つの特徴を整列させ、テクスチャギャップを減らす。

関連論文リスト

• DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
  本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。 DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:57:02Z)
• Progressive Retinal Image Registration via Global and Local Deformable Transformations [49.032894312826244]
  我々はHybridRetinaと呼ばれるハイブリッド登録フレームワークを提案する。 キーポイント検出器とGAMorphと呼ばれる変形ネットワークを用いて、大域的な変換と局所的な変形可能な変換を推定する。 FIREとFLoRI21という2つの広く使われているデータセットの実験により、提案したHybridRetinaは最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-02T08:43:50Z)
• PanoSwin: a Pano-style Swin Transformer for Panorama Understanding [15.115868803355081]
  等方射影(ERP)は境界の不連続性と空間歪みを含む。 我々はパノラマ表現をERPで学習するためにPanoSwinを提案する。 各種パノラマ作業における最先端技術に対する実験を行う。
  論文  参考訳（メタデータ） (2023-08-28T17:30:14Z)
• PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas [54.4948540627471]
  広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。 パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。 複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
  論文  参考訳（メタデータ） (2023-06-02T13:35:07Z)
• Panoramic Image-to-Image Translation [37.9486466936501]
  パノラマ画像変換(Pano-I2I)の課題に初めて取り組む。 この課題は、パノラマ画像の幾何学的歪みと、天候や時間といった様々な条件のパノラマ画像データセットが欠如しているために困難である。 ピンホール画像から参照するグローバルなスタイルを一貫して翻訳しながらパノラマ画像の構造を保存するパノラマ歪み認識型I2Iモデルを提案する。
  論文  参考訳（メタデータ） (2023-04-11T04:08:58Z)
• Behind Every Domain There is a Shift: Adapting Distortion-aware Vision Transformers for Panoramic Semantic Segmentation [73.48323921632506]
  パノラマ的セマンティックセマンティックセグメンテーションは2つの重要な課題により未探索である。 まず、変形性パッチ埋め込み(DPE)と変形性(DMLPv2)モジュールを備えたパノラマセマンティックトランス4PASS+を改良したトランスフォーマーを提案する。 第2に、教師なしドメイン適応パノラマセグメンテーションのための擬似ラベル修正により、Mutual Prototypeal Adaptation(MPA)戦略を強化する。 第3に、Pinhole-to-Panoramic(Pin2Pan)適応とは別に、9,080パノラマ画像を用いた新しいデータセット(SynPASS)を作成します。
  論文  参考訳（メタデータ） (2022-07-25T00:42:38Z)
• Cross-View Panorama Image Synthesis [68.35351563852335]
  PanoGANは、新しい敵対的フィードバックGANフレームワークである。 PanoGANは、最先端のアプローチよりもより説得力のある、高品質なパノラマ画像生成を可能にする。
  論文  参考訳（メタデータ） (2022-03-22T15:59:44Z)
• Bending Reality: Distortion-aware Transformers for Adapting to Panoramic Semantic Segmentation [26.09267582056609]
  大量の高価なピクセル単位のアノテーションは、堅牢なパノラマセグメンテーションモデルの成功に不可欠である。 360度パノラマにおける歪みと画像-特徴分布は、アノテーションに富んだピンホールドメインからの転写を阻害する。 変形性パッチ埋め込み(DPE)および変形性変形性(DMLP)コンポーネントにおける物体変形とパノラマ画像歪みを学習する。 最後に、マルチスケールのプロトタイプ機能を生成することにより、ピンホールとパノラマの特徴埋め込みで共有セマンティクスを結合する。
  論文  参考訳（メタデータ） (2022-03-02T23:00:32Z)
• DensePASS: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation with Attention-Augmented Context Exchange [32.29797061415896]
  パノラマ的セマンティックセグメンテーションのための教師なしドメイン適応のタスクを形式化する。 パノラマ画像の異なるターゲット領域にピンホールカメラデータのソース領域からラベル付き例に基づいて訓練されたネットワークを配置する。 我々は、注目強化ドメイン適応モジュールの異なる変種に基づいて、ドメイン間パノラマセマンティックセマンティックセマンティックセマンティクスのための汎用フレームワークを構築した。
  論文  参考訳（メタデータ） (2021-08-13T20:15:46Z)
• Panoramic Panoptic Segmentation: Towards Complete Surrounding Understanding via Unsupervised Contrastive Learning [97.37544023666833]
  我々は,パノラマパオプティックセグメンテーションを最も総合的なシーン理解として導入する。 完全な周囲の理解は、エージェントに最大限の情報を提供する。 標準ピンホール画像のモデルトレーニングを可能にし、学習した機能を異なるドメインに転送するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-01T09:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。