論文の概要: DA-STC: Domain Adaptive Video Semantic Segmentation via Spatio-Temporal
Consistency
- arxiv url: http://arxiv.org/abs/2311.13254v1
- Date: Wed, 22 Nov 2023 09:18:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 15:28:39.164373
- Title: DA-STC: Domain Adaptive Video Semantic Segmentation via Spatio-Temporal
Consistency
- Title(参考訳): DA-STC:時空間一貫性によるドメイン適応型ビデオセマンティックセグメンテーション
- Authors: Zhe Zhang, Gaochang Wu, Jing Zhang, Chunhua Shen, Dacheng Tao, Tianyou
Chai
- Abstract要約: マルチレベル融合モジュールを組み込んだドメイン適応型ビデオセマンティックセマンティックセグメンテーションのためのDA-STC法を提案する。
また,重要な時間的特徴の整合性を促進するために,カテゴリ対応機能アライメントモジュールを提案する。
本手法はドメイン適応型セマンティックセグメンテーションにおいて優れた性能を示す。
- 参考スコア(独自算出の注目度): 111.48756648371256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video semantic segmentation is a pivotal aspect of video representation
learning. However, significant domain shifts present a challenge in effectively
learning invariant spatio-temporal features across the labeled source domain
and unlabeled target domain for video semantic segmentation. To solve the
challenge, we propose a novel DA-STC method for domain adaptive video semantic
segmentation, which incorporates a bidirectional multi-level spatio-temporal
fusion module and a category-aware spatio-temporal feature alignment module to
facilitate consistent learning for domain-invariant features. Firstly, we
perform bidirectional spatio-temporal fusion at the image sequence level and
shallow feature level, leading to the construction of two fused intermediate
video domains. This prompts the video semantic segmentation model to
consistently learn spatio-temporal features of shared patch sequences which are
influenced by domain-specific contexts, thereby mitigating the feature gap
between the source and target domain. Secondly, we propose a category-aware
feature alignment module to promote the consistency of spatio-temporal
features, facilitating adaptation to the target domain. Specifically, we
adaptively aggregate the domain-specific deep features of each category along
spatio-temporal dimensions, which are further constrained to achieve
cross-domain intra-class feature alignment and inter-class feature separation.
Extensive experiments demonstrate the effectiveness of our method, which
achieves state-of-the-art mIOUs on multiple challenging benchmarks.
Furthermore, we extend the proposed DA-STC to the image domain, where it also
exhibits superior performance for domain adaptive semantic segmentation. The
source code and models will be made available at
\url{https://github.com/ZHE-SAPI/DA-STC}.
- Abstract(参考訳): ビデオ意味セマンティクスセグメンテーションは、ビデオ表現学習の重要な側面である。
しかし、重要なドメインシフトは、ビデオセマンティックセグメンテーションのためのラベル付きソースドメインとラベル付きターゲットドメイン間の不変時特徴を効果的に学習する上で課題となる。
そこで本研究では,双方向の時空間融合モジュールとカテゴリ認識時空間アライメントモジュールを組み込んだ,ドメイン適応型ビデオセマンティクスセグメンテーションのための新しいda-stc法を提案する。
まず,画像シーケンスレベルと浅層特徴レベルで双方向の時空間融合を行い,中間映像領域を2つ構築した。
これにより、ビデオ意味セマンティクスセグメンテーションモデルは、ドメイン固有のコンテキストに影響を受ける共有パッチシーケンスの時空間的特徴を一貫して学習し、ソースとターゲットドメイン間の特徴ギャップを緩和する。
次に,対象領域への適応を容易にするために,時空間的特徴の一貫性を促進するカテゴリ認識機能アライメントモジュールを提案する。
具体的には、各カテゴリのドメイン固有の深い特徴を時空間次元に沿って適応的に集約し、クラス間特徴アライメントとクラス間特徴分離を実現するためにさらに制約する。
複数の挑戦的ベンチマークで最先端のmIOUを実現する手法の有効性を示す。
さらに,提案するda-stcを画像領域に拡張し,ドメイン適応意味セグメンテーションに優れた性能を示す。
ソースコードとモデルは \url{https://github.com/ZHE-SAPI/DA-STC} で入手できる。
関連論文リスト
- MoDA: Leveraging Motion Priors from Videos for Advancing Unsupervised
Domain Adaptation in Semantic Segmentation [68.47501919073785]
動作誘導型ドメイン適応型セマンティックセマンティックセグメンテーションフレームワーク(MoDA)を設計する。
MoDAは、異なる戦略を使用して、フォアグラウンドとバックグラウンドカテゴリのドメインアライメントを別々に扱う。
MoDAは汎用的で、既存の最先端のアプローチと組み合わせて、さらなるパフォーマンス向上に利用することができる。
論文 参考訳(メタデータ) (2023-09-21T01:31:54Z) - Birds of A Feather Flock Together: Category-Divergence Guidance for
Domain Adaptive Segmentation [35.63920597305474]
教師なしドメイン適応(UDA)は、ソースドメインからターゲットドメインへの特定のモデルの一般化能力を高めることを目的としている。
本研究では,クラス間分離・クラス内アグリゲーション(ISIA)機構を提案する。
各カテゴリの整合複雑性を計測することにより、適応重み付きインスタンスマッチング(AIM)戦略を設計し、インスタンスレベルの適応をさらに最適化する。
論文 参考訳(メタデータ) (2022-04-05T11:17:19Z) - Amplitude Spectrum Transformation for Open Compound Domain Adaptive
Semantic Segmentation [62.68759523116924]
オープン化合物ドメイン適応(OCDA)は、実用的な適応セットとして現れている。
我々は、新しい特徴空間振幅スペクトル変換(AST)を提案する。
論文 参考訳(メタデータ) (2022-02-09T05:40:34Z) - AFAN: Augmented Feature Alignment Network for Cross-Domain Object
Detection [90.18752912204778]
オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。
本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。
提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
論文 参考訳(メタデータ) (2021-06-10T05:01:20Z) - More Separable and Easier to Segment: A Cluster Alignment Method for
Cross-Domain Semantic Segmentation [41.81843755299211]
上記の問題を緩和するために,ドメイン仮定の近接性に基づく新しいUDAセマンティックセマンティックセマンティクス手法を提案する。
具体的には、同じ意味を持つクラスタピクセルにプロトタイプクラスタリング戦略を適用し、ターゲットドメインピクセル間の関連付けをより良く維持します。
GTA5とSynthiaで行った実験は,本法の有効性を実証した。
論文 参考訳(メタデータ) (2021-05-07T10:24:18Z) - Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain
Adaptive Semantic Segmentation [102.42638795864178]
セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。
対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。
その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。
モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
論文 参考訳(メタデータ) (2020-12-15T13:21:54Z) - Affinity Space Adaptation for Semantic Segmentation Across Domains [57.31113934195595]
本稿では,意味的セグメンテーションにおける教師なしドメイン適応(UDA)の問題に対処する。
ソースドメインとターゲットドメインが不変なセマンティック構造を持つという事実に触発され、ドメイン間におけるそのような不変性を活用することを提案する。
親和性空間適応戦略として,親和性空間の洗浄と親和性空間アライメントという2つの方法を開発した。
論文 参考訳(メタデータ) (2020-09-26T10:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。