論文の概要: MoDA: Leveraging Motion Priors from Videos for Advancing Unsupervised Domain Adaptation in Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2309.11711v1
• Date: Thu, 21 Sep 2023 01:31:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 17:11:45.851388
• Title: MoDA: Leveraging Motion Priors from Videos for Advancing Unsupervised Domain Adaptation in Semantic Segmentation
• Title（参考訳）: MoDA: セマンティックセグメンテーションにおける教師なしドメイン適応の促進のためのビデオからの動作優先の活用
• Authors: Fei Pan, Xu Yin, Seokju Lee, Sungeui Yoon, In So Kweon
• Abstract要約: 動作誘導型ドメイン適応型セマンティックセマンティックセグメンテーションフレームワーク(MoDA)を設計する。 MoDAは、異なる戦略を使用して、フォアグラウンドとバックグラウンドカテゴリのドメインアライメントを別々に扱う。 MoDAは汎用的で、既存の最先端のアプローチと組み合わせて、さらなるパフォーマンス向上に利用することができる。
• 参考スコア（独自算出の注目度）: 68.47501919073785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised domain adaptation (UDA) is an effective approach to handle the lack of annotations in the target domain for the semantic segmentation task. In this work, we consider a more practical UDA setting where the target domain contains sequential frames of the unlabeled videos which are easy to collect in practice. A recent study suggests self-supervised learning of the object motion from unlabeled videos with geometric constraints. We design a motion-guided domain adaptive semantic segmentation framework (MoDA), that utilizes self-supervised object motion to learn effective representations in the target domain. MoDA differs from previous methods that use temporal consistency regularization for the target domain frames. Instead, MoDA deals separately with the domain alignment on the foreground and background categories using different strategies. Specifically, MoDA contains foreground object discovery and foreground semantic mining to align the foreground domain gaps by taking the instance-level guidance from the object motion. Additionally, MoDA includes background adversarial training which contains a background category-specific discriminator to handle the background domain gaps. Experimental results on multiple benchmarks highlight the effectiveness of MoDA against existing approaches in the domain adaptive image segmentation and domain adaptive video segmentation. Moreover, MoDA is versatile and can be used in conjunction with existing state-of-the-art approaches to further improve performance.
• Abstract（参考訳）: unsupervised domain adaptation(uda)は、セマンティックセグメンテーションタスクのターゲットドメインにおけるアノテーションの欠如に対処するための効果的なアプローチである。 そこで本研究では,対象ドメインが実際に容易に収集可能なラベル付きビデオのシーケンシャルフレームを含む,より実用的なUDA設定について考察する。 最近の研究では、幾何学的制約のある未ラベルビデオからの物体の動きの自己教師付き学習が提案されている。 対象領域における効果的な表現の学習に自己教師付きオブジェクトの動きを利用する動き誘導型ドメイン適応型セマンティックセマンティックセマンティクスフレームワーク(MoDA)を設計する。 MoDAは、対象のドメインフレームに対して時間的整合性正規化を使用する従来の方法とは異なる。 代わりにmodaは、フォアグラウンドと背景カテゴリのドメインアライメントを異なる戦略で別々に扱う。 特に、MoDAはフォアグラウンドオブジェクト発見とフォアグラウンドセマンティックマイニングを含んでおり、オブジェクトの動きからインスタンスレベルのガイダンスを取ることで、フォアグラウンドドメインギャップを調整する。 さらに、MoDAには、バックグラウンドドメインギャップを処理するバックグラウンドカテゴリ固有の識別器を含むバックグラウンド敵トレーニングが含まれている。 複数のベンチマークによる実験結果は、領域適応画像分割と領域適応ビデオ分割における既存のアプローチに対するMoDAの有効性を強調した。 さらに、MoDAは汎用性があり、既存の最先端アプローチと併用してパフォーマンスをさらに向上することができる。

関連論文リスト

• MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation [155.0797148367653]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインギャップを埋めるタスクである。 深度不連続性はしばしばセグメンテーション境界と一致するため、幾何学的情報、すなわち深度予測を活用することを提案する。 提案手法は, 様々な UDA 手法にプラグインし, 標準 UDA ベンチマークで連続的に結果を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-08-29T12:15:10Z)
• Exploiting Instance-based Mixed Sampling via Auxiliary Source Domain Supervision for Domain-adaptive Action Detection [75.38704117155909]
  本稿では,新しいドメイン適応型行動検出手法と新しい適応プロトコルを提案する。 クロスドメイン混合サンプリングと組み合わせた自己学習は、UDAコンテキストにおいて顕著なパフォーマンス向上を示した。 我々は提案したフレームワークをドメイン適応アクション・インスタンス・ミックス(DA-AIM)と呼ぶ。
  論文  参考訳（メタデータ） (2022-09-28T22:03:25Z)
• Continual Unsupervised Domain Adaptation for Semantic Segmentation using a Class-Specific Transfer [9.46677024179954]
  セグメンテーションモデルは 目に見えない領域に一般化しません 2つのクラス条件のAdaIN層を組み込んだ軽量なスタイル転送フレームワークを提案する。 合成シーケンスに対する我々のアプローチを広く検証し、さらに実領域からなる挑戦的なシーケンスを提案する。
  論文  参考訳（メタデータ） (2022-08-12T21:30:49Z)
• Discover, Hallucinate, and Adapt: Open Compound Domain Adaptation for Semantic Segmentation [91.30558794056056]
  意味的セグメンテーションのための教師なしドメイン適応(UDA)が近年注目を集めている。 我々は,発見,幻覚,適応の3つの主要な設計原則に基づく新しいフレームワークを提案する。 我々は、標準ベンチマークGTAからC自動運転へのソリューションの評価を行い、新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-10-08T13:20:09Z)
• Get away from Style: Category-Guided Domain Adaptation for Semantic Segmentation [15.002381934551359]
  非教師なしドメイン適応(UDA)は、ターゲットドメインの根本的真理なしに現実世界の問題に取り組むことでますます人気を増している。 本稿では,セマンティックセグメンテーションタスクにおけるUDAに着目した。 抽出した特徴のスタイル情報を類似空間に保持するスタイル非依存のコンテンツ特徴抽出機構を提案する。 次に,各カテゴリの擬似ラベルのバランスを保ちながら,自己教師付き学習のためのカテゴリ別擬似ラベルを選択するためのカテゴリ誘導しきい値機構を提案する。
  論文  参考訳（メタデータ） (2021-03-29T10:00:50Z)
• Domain Adaptive Semantic Segmentation Using Weak Labels [115.16029641181669]
  本稿では,画像レベルの弱いラベルを持つセマンティックセグメンテーションにおけるドメイン適応のための新しいフレームワークを提案する。 ネットワークに特定のカテゴリへの参加を強制する弱いラベル分類モジュールを開発する。 実験では,UDAにおける既存の最先端技術に対する大幅な改善と,WDA設定における新たなベンチマークを示す。
  論文  参考訳（メタデータ） (2020-07-30T01:33:57Z)
• MADAN: Multi-source Adversarial Domain Aggregation Network for Domain Adaptation [58.38749495295393]
  ドメイン適応は、あるラベル付きソースドメインと、わずかにラベル付けまたはラベル付けされていないターゲットドメインの間のドメインシフトをブリッジするために、転送可能なモデルを学ぶことを目的としています。 近年のマルチソース領域適応法(MDA)では,ソースとターゲット間の画素レベルのアライメントは考慮されていない。 これらの課題に対処するための新しいMDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T21:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。