論文の概要: MoDA: Leveraging Motion Priors from Videos for Advancing Unsupervised Domain Adaptation in Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2309.11711v2
• Date: Mon, 15 Apr 2024 15:26:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 01:59:49.458963
• Title: MoDA: Leveraging Motion Priors from Videos for Advancing Unsupervised Domain Adaptation in Semantic Segmentation
• Title（参考訳）: MoDA: セマンティックセグメンテーションにおける教師なしドメイン適応の促進のためのビデオからの動作優先の活用
• Authors: Fei Pan, Xu Yin, Seokju Lee, Axi Niu, Sungeui Yoon, In So Kweon,
• Abstract要約: 本研究は、対象ドメインが未ラベルのビデオフレームを含む異なるUDAシナリオを紹介する。 我々は textbfMotion-guided textbfDomain textbfAdaptive semantic segmentation framework (MoDA) を設計する。 MoDAは、セグメンテーションタスクのクロスドメインアライメントを容易にするために、自己教師対象のモーションキューを利用する。
• 参考スコア（独自算出の注目度）: 61.4598392934287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised domain adaptation (UDA) has been a potent technique to handle the lack of annotations in the target domain, particularly in semantic segmentation task. This study introduces a different UDA scenarios where the target domain contains unlabeled video frames. Drawing upon recent advancements of self-supervised learning of the object motion from unlabeled videos with geometric constraint, we design a \textbf{Mo}tion-guided \textbf{D}omain \textbf{A}daptive semantic segmentation framework (MoDA). MoDA harnesses the self-supervised object motion cues to facilitate cross-domain alignment for segmentation task. First, we present an object discovery module to localize and segment target moving objects using object motion information. Then, we propose a semantic mining module that takes the object masks to refine the pseudo labels in the target domain. Subsequently, these high-quality pseudo labels are used in the self-training loop to bridge the cross-domain gap. On domain adaptive video and image segmentation experiments, MoDA shows the effectiveness utilizing object motion as guidance for domain alignment compared with optical flow information. Moreover, MoDA exhibits versatility as it can complement existing state-of-the-art UDA approaches. Code at https://github.com/feipanir/MoDA.
• Abstract（参考訳）: 非教師なしドメイン適応(UDA)は、特にセマンティックセグメンテーションタスクにおいて、ターゲットドメインにおけるアノテーションの欠如を扱う強力なテクニックである。 本研究は、対象ドメインが未ラベルのビデオフレームを含む異なるUDAシナリオを紹介する。 幾何学的制約のある未ラベルビデオからの物体の動きの自己教師的学習の最近の進歩を参考に, モダプティブセマンティックセマンティック・セマンティック・フレームワーク (MoDA) を設計した。 MoDAは、セグメンテーションタスクのクロスドメインアライメントを容易にするために、自己教師対象のモーションキューを利用する。 まず,物体の動き情報を用いて対象を移動させる対象探索モジュールを提案する。 そこで本研究では,対象ドメインの擬似ラベルを改良するために,オブジェクトマスクを用いたセマンティックマイニングモジュールを提案する。 その後、これらの高品質な擬似ラベルは、クロスドメインギャップをブリッジするために自己学習ループで使用される。 領域適応型ビデオと画像分割実験において、MoDAは、物体の動きを光フロー情報と比較して、領域アライメントのガイダンスとして有効性を示す。 さらに、既存の最先端のUDAアプローチを補完できるため、MoDAは汎用性を示す。 コードネームはhttps://github.com/feipanir/MoDA。

関連論文リスト

• MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation [155.0797148367653]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインギャップを埋めるタスクである。 深度不連続性はしばしばセグメンテーション境界と一致するため、幾何学的情報、すなわち深度予測を活用することを提案する。 提案手法は, 様々な UDA 手法にプラグインし, 標準 UDA ベンチマークで連続的に結果を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-08-29T12:15:10Z)
• Exploiting Instance-based Mixed Sampling via Auxiliary Source Domain Supervision for Domain-adaptive Action Detection [75.38704117155909]
  本稿では,新しいドメイン適応型行動検出手法と新しい適応プロトコルを提案する。 クロスドメイン混合サンプリングと組み合わせた自己学習は、UDAコンテキストにおいて顕著なパフォーマンス向上を示した。 我々は提案したフレームワークをドメイン適応アクション・インスタンス・ミックス(DA-AIM)と呼ぶ。
  論文  参考訳（メタデータ） (2022-09-28T22:03:25Z)
• Continual Unsupervised Domain Adaptation for Semantic Segmentation using a Class-Specific Transfer [9.46677024179954]
  セグメンテーションモデルは 目に見えない領域に一般化しません 2つのクラス条件のAdaIN層を組み込んだ軽量なスタイル転送フレームワークを提案する。 合成シーケンスに対する我々のアプローチを広く検証し、さらに実領域からなる挑戦的なシーケンスを提案する。
  論文  参考訳（メタデータ） (2022-08-12T21:30:49Z)
• Discover, Hallucinate, and Adapt: Open Compound Domain Adaptation for Semantic Segmentation [91.30558794056056]
  意味的セグメンテーションのための教師なしドメイン適応(UDA)が近年注目を集めている。 我々は,発見,幻覚,適応の3つの主要な設計原則に基づく新しいフレームワークを提案する。 我々は、標準ベンチマークGTAからC自動運転へのソリューションの評価を行い、新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-10-08T13:20:09Z)
• Get away from Style: Category-Guided Domain Adaptation for Semantic Segmentation [15.002381934551359]
  非教師なしドメイン適応(UDA)は、ターゲットドメインの根本的真理なしに現実世界の問題に取り組むことでますます人気を増している。 本稿では,セマンティックセグメンテーションタスクにおけるUDAに着目した。 抽出した特徴のスタイル情報を類似空間に保持するスタイル非依存のコンテンツ特徴抽出機構を提案する。 次に,各カテゴリの擬似ラベルのバランスを保ちながら,自己教師付き学習のためのカテゴリ別擬似ラベルを選択するためのカテゴリ誘導しきい値機構を提案する。
  論文  参考訳（メタデータ） (2021-03-29T10:00:50Z)
• Domain Adaptive Semantic Segmentation Using Weak Labels [115.16029641181669]
  本稿では,画像レベルの弱いラベルを持つセマンティックセグメンテーションにおけるドメイン適応のための新しいフレームワークを提案する。 ネットワークに特定のカテゴリへの参加を強制する弱いラベル分類モジュールを開発する。 実験では,UDAにおける既存の最先端技術に対する大幅な改善と,WDA設定における新たなベンチマークを示す。
  論文  参考訳（メタデータ） (2020-07-30T01:33:57Z)
• MADAN: Multi-source Adversarial Domain Aggregation Network for Domain Adaptation [58.38749495295393]
  ドメイン適応は、あるラベル付きソースドメインと、わずかにラベル付けまたはラベル付けされていないターゲットドメインの間のドメインシフトをブリッジするために、転送可能なモデルを学ぶことを目的としています。 近年のマルチソース領域適応法(MDA)では,ソースとターゲット間の画素レベルのアライメントは考慮されていない。 これらの課題に対処するための新しいMDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T21:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。