論文の概要: MoDA: Leveraging Motion Priors from Videos for Advancing Unsupervised
Domain Adaptation in Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2309.11711v1
- Date: Thu, 21 Sep 2023 01:31:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 17:11:45.851388
- Title: MoDA: Leveraging Motion Priors from Videos for Advancing Unsupervised
Domain Adaptation in Semantic Segmentation
- Title(参考訳): MoDA: セマンティックセグメンテーションにおける教師なしドメイン適応の促進のためのビデオからの動作優先の活用
- Authors: Fei Pan, Xu Yin, Seokju Lee, Sungeui Yoon, In So Kweon
- Abstract要約: 動作誘導型ドメイン適応型セマンティックセマンティックセグメンテーションフレームワーク(MoDA)を設計する。
MoDAは、異なる戦略を使用して、フォアグラウンドとバックグラウンドカテゴリのドメインアライメントを別々に扱う。
MoDAは汎用的で、既存の最先端のアプローチと組み合わせて、さらなるパフォーマンス向上に利用することができる。
- 参考スコア(独自算出の注目度): 68.47501919073785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised domain adaptation (UDA) is an effective approach to handle the
lack of annotations in the target domain for the semantic segmentation task. In
this work, we consider a more practical UDA setting where the target domain
contains sequential frames of the unlabeled videos which are easy to collect in
practice. A recent study suggests self-supervised learning of the object motion
from unlabeled videos with geometric constraints. We design a motion-guided
domain adaptive semantic segmentation framework (MoDA), that utilizes
self-supervised object motion to learn effective representations in the target
domain. MoDA differs from previous methods that use temporal consistency
regularization for the target domain frames. Instead, MoDA deals separately
with the domain alignment on the foreground and background categories using
different strategies. Specifically, MoDA contains foreground object discovery
and foreground semantic mining to align the foreground domain gaps by taking
the instance-level guidance from the object motion. Additionally, MoDA includes
background adversarial training which contains a background category-specific
discriminator to handle the background domain gaps. Experimental results on
multiple benchmarks highlight the effectiveness of MoDA against existing
approaches in the domain adaptive image segmentation and domain adaptive video
segmentation. Moreover, MoDA is versatile and can be used in conjunction with
existing state-of-the-art approaches to further improve performance.
- Abstract(参考訳): unsupervised domain adaptation(uda)は、セマンティックセグメンテーションタスクのターゲットドメインにおけるアノテーションの欠如に対処するための効果的なアプローチである。
そこで本研究では,対象ドメインが実際に容易に収集可能なラベル付きビデオのシーケンシャルフレームを含む,より実用的なUDA設定について考察する。
最近の研究では、幾何学的制約のある未ラベルビデオからの物体の動きの自己教師付き学習が提案されている。
対象領域における効果的な表現の学習に自己教師付きオブジェクトの動きを利用する動き誘導型ドメイン適応型セマンティックセマンティックセマンティクスフレームワーク(MoDA)を設計する。
MoDAは、対象のドメインフレームに対して時間的整合性正規化を使用する従来の方法とは異なる。
代わりにmodaは、フォアグラウンドと背景カテゴリのドメインアライメントを異なる戦略で別々に扱う。
特に、MoDAはフォアグラウンドオブジェクト発見とフォアグラウンドセマンティックマイニングを含んでおり、オブジェクトの動きからインスタンスレベルのガイダンスを取ることで、フォアグラウンドドメインギャップを調整する。
さらに、MoDAには、バックグラウンドドメインギャップを処理するバックグラウンドカテゴリ固有の識別器を含むバックグラウンド敵トレーニングが含まれている。
複数のベンチマークによる実験結果は、領域適応画像分割と領域適応ビデオ分割における既存のアプローチに対するMoDAの有効性を強調した。
さらに、MoDAは汎用性があり、既存の最先端アプローチと併用してパフォーマンスをさらに向上することができる。
関連論文リスト
- DA-STC: Domain Adaptive Video Semantic Segmentation via Spatio-Temporal
Consistency [111.48756648371256]
マルチレベル融合モジュールを組み込んだドメイン適応型ビデオセマンティックセマンティックセグメンテーションのためのDA-STC法を提案する。
また,重要な時間的特徴の整合性を促進するために,カテゴリ対応機能アライメントモジュールを提案する。
本手法はドメイン適応型セマンティックセグメンテーションにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2023-11-22T09:18:49Z) - Exploiting Instance-based Mixed Sampling via Auxiliary Source Domain
Supervision for Domain-adaptive Action Detection [75.38704117155909]
本稿では,新しいドメイン適応型行動検出手法と新しい適応プロトコルを提案する。
クロスドメイン混合サンプリングと組み合わせた自己学習は、UDAコンテキストにおいて顕著なパフォーマンス向上を示した。
我々は提案したフレームワークをドメイン適応アクション・インスタンス・ミックス(DA-AIM)と呼ぶ。
論文 参考訳(メタデータ) (2022-09-28T22:03:25Z) - ADAS: A Direct Adaptation Strategy for Multi-Target Domain Adaptive
Semantic Segmentation [12.148050135641583]
ドメイン間の視覚的属性を整列するマルチターゲットドメイン転送ネットワーク(MTDT-Net)を設計する。
また、クラスラベル間の属性のあいまいさを低減する双方向適応型領域選択(BARS)を提案する。
本手法は,セマンティックセグメンテーションにおいて複数のドメインに直接適応する最初のMTDA法である。
論文 参考訳(メタデータ) (2022-03-14T01:55:42Z) - Affinity Space Adaptation for Semantic Segmentation Across Domains [57.31113934195595]
本稿では,意味的セグメンテーションにおける教師なしドメイン適応(UDA)の問題に対処する。
ソースドメインとターゲットドメインが不変なセマンティック構造を持つという事実に触発され、ドメイン間におけるそのような不変性を活用することを提案する。
親和性空間適応戦略として,親和性空間の洗浄と親和性空間アライメントという2つの方法を開発した。
論文 参考訳(メタデータ) (2020-09-26T10:28:11Z) - Domain Adaptive Semantic Segmentation Using Weak Labels [115.16029641181669]
本稿では,画像レベルの弱いラベルを持つセマンティックセグメンテーションにおけるドメイン適応のための新しいフレームワークを提案する。
ネットワークに特定のカテゴリへの参加を強制する弱いラベル分類モジュールを開発する。
実験では,UDAにおける既存の最先端技術に対する大幅な改善と,WDA設定における新たなベンチマークを示す。
論文 参考訳(メタデータ) (2020-07-30T01:33:57Z) - MADAN: Multi-source Adversarial Domain Aggregation Network for Domain
Adaptation [58.38749495295393]
ドメイン適応は、あるラベル付きソースドメインと、わずかにラベル付けまたはラベル付けされていないターゲットドメインの間のドメインシフトをブリッジするために、転送可能なモデルを学ぶことを目的としています。
近年のマルチソース領域適応法(MDA)では,ソースとターゲット間の画素レベルのアライメントは考慮されていない。
これらの課題に対処するための新しいMDAフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T21:22:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。