論文の概要: Unified Domain Adaptive Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2311.13254v3
- Date: Thu, 12 Sep 2024 15:16:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 22:22:54.189492
- Title: Unified Domain Adaptive Semantic Segmentation
- Title(参考訳): 統一ドメイン適応セマンティックセマンティックセグメンテーション
- Authors: Zhe Zhang, Gaochang Wu, Jing Zhang, Xiatian Zhu, Dacheng Tao, Tianyou Chai,
- Abstract要約: Unsupervised Adaptive Domain Semantic (UDA-SS)は、ラベル付きソースドメインからラベル付きターゲットドメインに監督を移すことを目的としている。
本稿では,特徴量と特徴量との相違に対処するQuad-directional Mixup(QuadMix)法を提案する。
提案手法は,4つの挑戦的UDA-SSベンチマークにおいて,最先端の成果を大きなマージンで上回っている。
- 参考スコア(独自算出の注目度): 96.74199626935294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS) aims to transfer the supervision from a labeled source domain to an unlabeled target domain. The majority of existing UDA-SS works typically consider images whilst recent attempts have extended further to tackle videos by modeling the temporal dimension. Although the two lines of research share the major challenges -- overcoming the underlying domain distribution shift, their studies are largely independent, resulting in fragmented insights, a lack of holistic understanding, and missed opportunities for cross-pollination of ideas. This fragmentation prevents the unification of methods, leading to redundant efforts and suboptimal knowledge transfer across image and video domains. Under this observation, we advocate unifying the study of UDA-SS across video and image scenarios, enabling a more comprehensive understanding, synergistic advancements, and efficient knowledge sharing. To that end, we explore the unified UDA-SS from a general data augmentation perspective, serving as a unifying conceptual framework, enabling improved generalization, and potential for cross-pollination of ideas, ultimately contributing to the overall progress and practical impact of this field of research. Specifically, we propose a Quad-directional Mixup (QuadMix) method, characterized by tackling distinct point attributes and feature inconsistencies through four-directional paths for intra- and inter-domain mixing in a feature space. To deal with temporal shifts with videos, we incorporate optical flow-guided feature aggregation across spatial and temporal dimensions for fine-grained domain alignment. Extensive experiments show that our method outperforms the state-of-the-art works by large margins on four challenging UDA-SS benchmarks. Our source code and models will be released at \url{https://github.com/ZHE-SAPI/UDASS}.
- Abstract(参考訳): Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS)は、ラベル付きソースドメインからラベル付きターゲットドメインに監督を移すことを目的としている。
既存のUDA-SS作品の多くは画像について考察するが、最近の試みは時間次元をモデル化してビデオに取り組むためにさらに拡張されている。
この2つの研究は、基礎となるドメイン分散シフトを克服する上で大きな課題を共有していますが、その研究は大部分が独立しており、断片化された洞察、全体的理解の欠如、アイデアを相互に補う機会の欠如につながります。
この断片化は手法の統一を防ぎ、冗長な努力と画像ドメインとビデオドメイン間の最適知識伝達につながる。
本研究は,より包括的理解,シナジスティックな進歩,効率的な知識共有を実現するため,映像シナリオと画像シナリオにまたがるUDA-SS研究の統一を提唱する。
この目的のために、汎用データ拡張の観点から統一されたUDA-SSを探求し、統一された概念的枠組みとして機能し、一般化を可能とし、アイデアのクロスポリン化の可能性を秘め、最終的にこの研究分野の全体的な進展と実践的影響に寄与する。
具体的には,特徴空間内でのドメイン内混合とドメイン間混合の4方向経路を通じて,異なる点属性と特徴の不整合に対処するQuad-directional Mixup (QuadMix)法を提案する。
ビデオの時間的シフトに対処するために、細粒度ドメインアライメントのための空間的および時間的次元にわたる光学的フロー誘導機能アグリゲーションを組み込んだ。
大規模な実験により,本手法は4つの挑戦的 UDA-SS ベンチマークにおいて,最先端の工法よりも高い性能を示した。
私たちのソースコードとモデルは、 \url{https://github.com/ZHE-SAPI/UDASS} でリリースされます。
関連論文リスト
- Birds of A Feather Flock Together: Category-Divergence Guidance for
Domain Adaptive Segmentation [35.63920597305474]
教師なしドメイン適応(UDA)は、ソースドメインからターゲットドメインへの特定のモデルの一般化能力を高めることを目的としている。
本研究では,クラス間分離・クラス内アグリゲーション(ISIA)機構を提案する。
各カテゴリの整合複雑性を計測することにより、適応重み付きインスタンスマッチング(AIM)戦略を設計し、インスタンスレベルの適応をさらに最適化する。
論文 参考訳(メタデータ) (2022-04-05T11:17:19Z) - Amplitude Spectrum Transformation for Open Compound Domain Adaptive
Semantic Segmentation [62.68759523116924]
オープン化合物ドメイン適応(OCDA)は、実用的な適応セットとして現れている。
我々は、新しい特徴空間振幅スペクトル変換(AST)を提案する。
論文 参考訳(メタデータ) (2022-02-09T05:40:34Z) - AFAN: Augmented Feature Alignment Network for Cross-Domain Object
Detection [90.18752912204778]
オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。
本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。
提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
論文 参考訳(メタデータ) (2021-06-10T05:01:20Z) - More Separable and Easier to Segment: A Cluster Alignment Method for
Cross-Domain Semantic Segmentation [41.81843755299211]
上記の問題を緩和するために,ドメイン仮定の近接性に基づく新しいUDAセマンティックセマンティックセマンティクス手法を提案する。
具体的には、同じ意味を持つクラスタピクセルにプロトタイプクラスタリング戦略を適用し、ターゲットドメインピクセル間の関連付けをより良く維持します。
GTA5とSynthiaで行った実験は,本法の有効性を実証した。
論文 参考訳(メタデータ) (2021-05-07T10:24:18Z) - Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain
Adaptive Semantic Segmentation [102.42638795864178]
セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。
対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。
その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。
モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
論文 参考訳(メタデータ) (2020-12-15T13:21:54Z) - Cross-Domain Grouping and Alignment for Domain Adaptive Semantic
Segmentation [74.3349233035632]
深層畳み込みニューラルネットワーク(CNN)内のソースドメインとターゲットドメインにセマンティックセグメンテーションネットワークを適用する既存の技術は、対象ドメイン自身や推定カテゴリ内のクラス間変異を考慮していない。
学習可能なクラスタリングモジュールと、クロスドメイングルーピングとアライメントと呼ばれる新しいドメイン適応フレームワークを導入する。
本手法はセマンティクスセグメンテーションにおける適応性能を一貫して向上させ,様々なドメイン適応設定において最先端を上回っている。
論文 参考訳(メタデータ) (2020-12-15T11:36:21Z) - Affinity Space Adaptation for Semantic Segmentation Across Domains [57.31113934195595]
本稿では,意味的セグメンテーションにおける教師なしドメイン適応(UDA)の問題に対処する。
ソースドメインとターゲットドメインが不変なセマンティック構造を持つという事実に触発され、ドメイン間におけるそのような不変性を活用することを提案する。
親和性空間適応戦略として,親和性空間の洗浄と親和性空間アライメントという2つの方法を開発した。
論文 参考訳(メタデータ) (2020-09-26T10:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。