論文の概要: DA-STC: Domain Adaptive Video Semantic Segmentation via Spatio-Temporal Consistency

• arxiv url: http://arxiv.org/abs/2311.13254v1
• Date: Wed, 22 Nov 2023 09:18:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 15:28:39.164373
• Title: DA-STC: Domain Adaptive Video Semantic Segmentation via Spatio-Temporal Consistency
• Title（参考訳）: DA-STC:時空間一貫性によるドメイン適応型ビデオセマンティックセグメンテーション
• Authors: Zhe Zhang, Gaochang Wu, Jing Zhang, Chunhua Shen, Dacheng Tao, Tianyou Chai
• Abstract要約: マルチレベル融合モジュールを組み込んだドメイン適応型ビデオセマンティックセマンティックセグメンテーションのためのDA-STC法を提案する。 また,重要な時間的特徴の整合性を促進するために,カテゴリ対応機能アライメントモジュールを提案する。 本手法はドメイン適応型セマンティックセグメンテーションにおいて優れた性能を示す。
• 参考スコア（独自算出の注目度）: 111.48756648371256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video semantic segmentation is a pivotal aspect of video representation learning. However, significant domain shifts present a challenge in effectively learning invariant spatio-temporal features across the labeled source domain and unlabeled target domain for video semantic segmentation. To solve the challenge, we propose a novel DA-STC method for domain adaptive video semantic segmentation, which incorporates a bidirectional multi-level spatio-temporal fusion module and a category-aware spatio-temporal feature alignment module to facilitate consistent learning for domain-invariant features. Firstly, we perform bidirectional spatio-temporal fusion at the image sequence level and shallow feature level, leading to the construction of two fused intermediate video domains. This prompts the video semantic segmentation model to consistently learn spatio-temporal features of shared patch sequences which are influenced by domain-specific contexts, thereby mitigating the feature gap between the source and target domain. Secondly, we propose a category-aware feature alignment module to promote the consistency of spatio-temporal features, facilitating adaptation to the target domain. Specifically, we adaptively aggregate the domain-specific deep features of each category along spatio-temporal dimensions, which are further constrained to achieve cross-domain intra-class feature alignment and inter-class feature separation. Extensive experiments demonstrate the effectiveness of our method, which achieves state-of-the-art mIOUs on multiple challenging benchmarks. Furthermore, we extend the proposed DA-STC to the image domain, where it also exhibits superior performance for domain adaptive semantic segmentation. The source code and models will be made available at \url{https://github.com/ZHE-SAPI/DA-STC}.
• Abstract（参考訳）: ビデオ意味セマンティクスセグメンテーションは、ビデオ表現学習の重要な側面である。 しかし、重要なドメインシフトは、ビデオセマンティックセグメンテーションのためのラベル付きソースドメインとラベル付きターゲットドメイン間の不変時特徴を効果的に学習する上で課題となる。 そこで本研究では,双方向の時空間融合モジュールとカテゴリ認識時空間アライメントモジュールを組み込んだ,ドメイン適応型ビデオセマンティクスセグメンテーションのための新しいda-stc法を提案する。 まず,画像シーケンスレベルと浅層特徴レベルで双方向の時空間融合を行い,中間映像領域を2つ構築した。 これにより、ビデオ意味セマンティクスセグメンテーションモデルは、ドメイン固有のコンテキストに影響を受ける共有パッチシーケンスの時空間的特徴を一貫して学習し、ソースとターゲットドメイン間の特徴ギャップを緩和する。 次に,対象領域への適応を容易にするために,時空間的特徴の一貫性を促進するカテゴリ認識機能アライメントモジュールを提案する。 具体的には、各カテゴリのドメイン固有の深い特徴を時空間次元に沿って適応的に集約し、クラス間特徴アライメントとクラス間特徴分離を実現するためにさらに制約する。 複数の挑戦的ベンチマークで最先端のmIOUを実現する手法の有効性を示す。 さらに,提案するda-stcを画像領域に拡張し,ドメイン適応意味セグメンテーションに優れた性能を示す。 ソースコードとモデルは \url{https://github.com/ZHE-SAPI/DA-STC} で入手できる。

関連論文リスト

• Improving Intrusion Detection with Domain-Invariant Representation Learning in Latent Space [4.871119861180455]
  マルチタスク学習を用いた2相表現学習手法を提案する。 我々は、先行空間と潜時空間の間の相互情報の最小化により、潜時空間を解き放つ。 モデルの有効性を複数のサイバーセキュリティデータセットで評価する。
  論文  参考訳（メタデータ） (2023-12-28T17:24:13Z)
• Towards Full-scene Domain Generalization in Multi-agent Collaborative Bird's Eye View Segmentation for Connected and Autonomous Driving [49.03947018718156]
  協調的な知覚の訓練と推論の段階で利用される統合されたドメイン一般化フレームワークを提案する。 また、システム内ドメインアライメント機構を導入し、コネクテッドおよび自律走行車間のドメインの差を減らし、潜在的に排除する。
  論文  参考訳（メタデータ） (2023-11-28T12:52:49Z)
• Towards Domain-Specific Features Disentanglement for Domain Generalization [23.13095840134744]
  そこで本研究では,見過ごされがちな領域特化特徴を生かした,新しいコントラッシブ・ベース・ディコンタンジメント法CDDGを提案する。 具体的には、CDDGは、潜在空間においてそれらを活用することによって、固有の排他的特徴を分離することを学ぶ。 各種ベンチマークデータセットを用いて行った実験は,他の最先端手法と比較して,本手法の優位性を示した。
  論文  参考訳（メタデータ） (2023-10-04T17:51:02Z)
• Improving Anomaly Segmentation with Multi-Granularity Cross-Domain Alignment [17.086123737443714]
  異常セグメンテーションは、画像中の非定型物体を識別する上で重要な役割を担っている。 既存の手法は合成データに顕著な結果を示すが、合成データドメインと実世界のデータドメインの相違を考慮できないことが多い。 シーンと個々のサンプルレベルの両方で、ドメイン間の機能を調和させるのに適した、マルチグラニュラリティ・クロスドメインアライメントフレームワークを導入します。
  論文  参考訳（メタデータ） (2023-08-16T22:54:49Z)
• CAusal and collaborative proxy-tasKs lEarning for Semi-Supervised Domain Adaptation [20.589323508870592]
  半教師付きドメイン適応(SSDA)は、ソースドメインデータとラベル付きターゲットサンプルを効果的に活用することにより、学習者を新しいドメインに適応させる。 提案手法は,SSDAデータセットの有効性と汎用性の観点から,SOTA法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-30T16:48:28Z)
• A Comprehensive Survey on Source-free Domain Adaptation [69.17622123344327]
  ソースフリードメイン適応(SFDA)の研究は近年注目を集めている。 SFDAの最近の進歩を包括的に調査し、それらを統一的な分類体系に整理する。 一般的な3つの分類基準で30以上のSFDA法を比較検討した。
  論文  参考訳（メタデータ） (2023-02-23T06:32:09Z)
• Amplitude Spectrum Transformation for Open Compound Domain Adaptive Semantic Segmentation [62.68759523116924]
  オープン化合物ドメイン適応(OCDA)は、実用的な適応セットとして現れている。 我々は、新しい特徴空間振幅スペクトル変換(AST)を提案する。
  論文  参考訳（メタデータ） (2022-02-09T05:40:34Z)
• A New Bidirectional Unsupervised Domain Adaptation Segmentation Framework [27.13101555533594]
  異なるドメイン間のギャップを埋めるために、教師なしドメイン適応(UDA)技術が提案されている。 本稿では,両方向のUDA演奏に対して,非交互表現学習に基づく双方向UDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-18T05:25:11Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)
• Domain Conditioned Adaptation Network [90.63261870610211]
  本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。 これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-14T04:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。