論文の概要: Domain Adaptive Video Semantic Segmentation via Cross-Domain Moving Object Mixing

• arxiv url: http://arxiv.org/abs/2211.02307v1
• Date: Fri, 4 Nov 2022 08:10:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 16:54:48.540036
• Title: Domain Adaptive Video Semantic Segmentation via Cross-Domain Moving Object Mixing
• Title（参考訳）: クロスドメイン移動物体混合による領域適応ビデオ意味セマンティクス
• Authors: Kyusik Cho, Suhyeon Lee, Hongje Seong and Euntai Kim
• Abstract要約: ソース・ドメイン・ビデオ・クリップにおいて、ハード・トゥ・トランスファー・クラスを含む複数のオブジェクトをカットするクロス・ドメイン移動オブジェクト・ミキシング(CMOM)を提案する。 画像レベルのドメイン適応とは異なり、時間的コンテキストは、動くオブジェクトを2つの異なるビデオに混ぜるために維持されるべきである。 さらに、ターゲット領域の特徴識別性を高めるために、時間的コンテキストによる特徴調整(FATC)を提案する。
• 参考スコア（独自算出の注目度）: 15.823918683848877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The network trained for domain adaptation is prone to bias toward the easy-to-transfer classes. Since the ground truth label on the target domain is unavailable during training, the bias problem leads to skewed predictions, forgetting to predict hard-to-transfer classes. To address this problem, we propose Cross-domain Moving Object Mixing (CMOM) that cuts several objects, including hard-to-transfer classes, in the source domain video clip and pastes them into the target domain video clip. Unlike image-level domain adaptation, the temporal context should be maintained to mix moving objects in two different videos. Therefore, we design CMOM to mix with consecutive video frames, so that unrealistic movements are not occurring. We additionally propose Feature Alignment with Temporal Context (FATC) to enhance target domain feature discriminability. FATC exploits the robust source domain features, which are trained with ground truth labels, to learn discriminative target domain features in an unsupervised manner by filtering unreliable predictions with temporal consensus. We demonstrate the effectiveness of the proposed approaches through extensive experiments. In particular, our model reaches mIoU of 53.81% on VIPER to Cityscapes-Seq benchmark and mIoU of 56.31% on SYNTHIA-Seq to Cityscapes-Seq benchmark, surpassing the state-of-the-art methods by large margins.
• Abstract（参考訳）: ドメイン適応のために訓練されたネットワークは、容易に変換できるクラスに偏りがちである。 対象ドメインの基底真理ラベルはトレーニング中に使用できないため、バイアス問題は歪んだ予測につながり、転送の難しいクラスを予測するのを忘れてしまう。 この問題に対処するため,我々は,ソースドメインの動画クリップ内で,転送の難しいクラスを含む複数のオブジェクトをカットして,ターゲットドメインの動画クリップに貼り付けるクロスドメイン移動オブジェクト混合(cmom)を提案する。 画像レベルのドメイン適応とは異なり、時間的コンテキストは2つの異なるビデオで動くオブジェクトを混ぜるために維持されるべきである。 そこで我々はcmomを連続する映像フレームと混合するように設計し,非現実的な動きが起こらないようにした。 さらに、ターゲット領域の特徴識別性を高めるために、時間的コンテキストによる特徴調整(FATC)を提案する。 fatcは、基底真理ラベルでトレーニングされた堅牢なソースドメイン機能を利用して、信頼できない予測を時間的コンセンサスでフィルタリングすることで、教師なしの方法で識別対象ドメイン機能を学ぶ。 提案手法の有効性を広範囲な実験により実証する。 特に、我々のモデルはVIPERからCityscapes-Seqベンチマークで53.81%mIoU、SynTHIA-SeqからCityscapes-Seqベンチマークで56.31%mIoUに達し、最先端の手法をはるかに上回っている。

関連論文リスト

• Continual Unsupervised Domain Adaptation for Semantic Segmentation using a Class-Specific Transfer [9.46677024179954]
  セグメンテーションモデルは 目に見えない領域に一般化しません 2つのクラス条件のAdaIN層を組み込んだ軽量なスタイル転送フレームワークを提案する。 合成シーケンスに対する我々のアプローチを広く検証し、さらに実領域からなる挑戦的なシーケンスを提案する。
  論文  参考訳（メタデータ） (2022-08-12T21:30:49Z)
• Contrast and Mix: Temporal Contrastive Video Domain Adaptation with Background Mixing [55.73722120043086]
  Contrast and Mix(CoMix)は、教師なしビデオドメイン適応のための識別的不変な特徴表現を学習することを目的とした、新しいコントラスト学習フレームワークである。 まず,2つの異なる速度でラベル付きビデオの符号化表現の類似性を最大化することにより,時間的コントラスト学習を用いてドメインギャップをブリッジする。 第2に,両ドメイン間で共有されるアクションセマンティクスを活用するために,アンカー毎の肯定的な追加を可能にするバックグラウンドミキシングを用いることにより,時間的コントラスト損失の新たな拡張を提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:03:29Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Learning Cross-modal Contrastive Features for Video Domain Adaptation [138.75196499580804]
  本稿では、クロスモーダルとクロスドメインの特徴表現を同時に正規化する、ビデオドメイン適応のための統合フレームワークを提案する。 具体的には、ドメインの各モダリティを視点として扱い、コントラスト学習手法を適切に設計されたサンプリング戦略で活用する。
  論文  参考訳（メタデータ） (2021-08-26T18:14:18Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency [93.89773386634717]
  ビジュアルドメイン適応は、異なるソースドメインで利用可能なラベルを使用して、ターゲットのビジュアルドメインからイメージを分類する学習を含む。 いくつかの目標ラベルが存在する場合、(回転予測による)自己スーパービジョンや整合正則化といった単純な手法が、適切な目標分類器を学習するための対角アライメントなしで有効であることを示す。 我々の事前学習と一貫性(PAC)アプローチは、この半教師付きドメイン適応タスクにおいて、複数のデータセットにまたがる複数の対向的なドメインアライメント手法を超越して、技術精度を達成することができる。
  論文  参考訳（メタデータ） (2021-01-29T18:40:17Z)
• Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation [169.82760468633236]
  本稿では,ソースとターゲットの画素ペア間の画素レベルサイクルの関連性を構築することを提案する。 我々の手法は1段階のエンドツーエンドで訓練でき、追加のパラメータは導入しない。
  論文  参考訳（メタデータ） (2020-10-31T00:11:36Z)
• Unsupervised Domain Adaptive Object Detection using Forward-Backward Cyclic Adaptation [13.163271874039191]
  本稿では,フォワード・バック・サイクリック(FBC)トレーニングによる物体検出のための教師なし領域適応手法を提案する。 近年, 対角訓練に基づく領域適応法は, 限界特徴分布アライメントによる領域差最小化に有効であることが示された。 本稿では,後方ホッピングによるソースからターゲットへの適応と,前方通過によるターゲットからソースへの適応を反復的に計算するフォワード・バック・サイクル適応を提案する。
  論文  参考訳（メタデータ） (2020-02-03T06:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。