論文の概要: ControlUDA: Controllable Diffusion-assisted Unsupervised Domain
Adaptation for Cross-Weather Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2402.06446v1
- Date: Fri, 9 Feb 2024 14:48:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 16:41:47.115119
- Title: ControlUDA: Controllable Diffusion-assisted Unsupervised Domain
Adaptation for Cross-Weather Semantic Segmentation
- Title(参考訳): controluda:クロスウェザーセマンティクスセグメンテーションのための制御可能な拡散支援非教師なしドメイン適応
- Authors: Fengyi Shen, Li Zhou, Kagan Kucukaytekin, Ziyuan Liu, He Wang, Alois
Knoll
- Abstract要約: ControlUDAは、悪天候下でのUDAセグメンテーションに適した拡散支援フレームワークである。
DMをチューニングするために、事前に訓練されたセグメンタからターゲットを前もって利用し、行方不明のターゲットドメインラベルを補償する。
UDAControlNetは、悪天候下での高忠実度データ生成をターゲットとした、条件付きマルチスケールおよび即時拡張ネットワークである。
- 参考スコア(独自算出の注目度): 14.407346832155042
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Data generation is recognized as a potent strategy for unsupervised domain
adaptation (UDA) pertaining semantic segmentation in adverse weathers.
Nevertheless, these adverse weather scenarios encompass multiple possibilities,
and high-fidelity data synthesis with controllable weather is under-researched
in previous UDA works. The recent strides in large-scale text-to-image
diffusion models (DM) have ushered in a novel avenue for research, enabling the
generation of realistic images conditioned on semantic labels. This capability
proves instrumental for cross-domain data synthesis from source to target
domain owing to their shared label space. Thus, source domain labels can be
paired with those generated pseudo target data for training UDA. However, from
the UDA perspective, there exists several challenges for DM training: (i)
ground-truth labels from target domain are missing; (ii) the prompt generator
may produce vague or noisy descriptions of images from adverse weathers; (iii)
existing arts often struggle to well handle the complex scene structure and
geometry of urban scenes when conditioned only on semantic labels. To tackle
the above issues, we propose ControlUDA, a diffusion-assisted framework
tailored for UDA segmentation under adverse weather conditions. It first
leverages target prior from a pre-trained segmentor for tuning the DM,
compensating the missing target domain labels; It also contains UDAControlNet,
a condition-fused multi-scale and prompt-enhanced network targeted at
high-fidelity data generation in adverse weathers. Training UDA with our
generated data brings the model performances to a new milestone (72.0 mIoU) on
the popular Cityscapes-to-ACDC benchmark for adverse weathers. Furthermore,
ControlUDA helps to achieve good model generalizability on unseen data.
- Abstract(参考訳): データ生成は、悪天候における意味的セグメンテーションに関連する非教師なし領域適応(UDA)の強力な戦略として認識されている。
しかしながら、これらの悪天候シナリオには、複数の可能性が含まれており、制御可能な気象を伴う高忠実なデータ合成は、以前のUDA研究であまり研究されていない。
大規模テキストから画像への拡散モデル(dm)の最近の進歩は、新しい研究の道筋を辿り、意味ラベルに基づく現実的な画像の生成を可能にした。
この機能は、共有ラベル空間のため、ソースからターゲットドメインへのクロスドメインデータ合成に役立つ。
これにより、ソースドメインラベルと生成した擬似ターゲットデータとをペアリングしてUDAをトレーニングすることができる。
しかし、UDAの観点からは、DMトレーニングにはいくつかの課題がある。
(i)対象領域からの地中ラベルが欠落している。
二 プロンプト発生装置は、悪天候からの画像の曖昧又は騒々しい説明をすることができる。
(iii)セマンティクスラベルのみを条件とする場合、都市景観の複雑な景観構造や幾何学をうまく扱うのに苦労する場合が多い。
以上の課題に対処するため,悪天候下でのUDAセグメンテーションに適した拡散支援フレームワークであるControlUDAを提案する。
UDAControlNetは、悪天候下での高忠実なデータ生成をターゲットとした、条件付きマルチスケールで高速に拡張されたネットワークである。
UDAを生成されたデータでトレーニングすることで、悪天候に対するCityscapes-to-ACDCベンチマークにおいて、モデルのパフォーマンスが新たなマイルストーン(72.0 mIoU)に到達します。
さらに、制御UDAは、見えないデータに対して優れたモデル一般化性を達成するのに役立ちます。
関連論文リスト
- Source-Free Domain Adaptation for Medical Image Segmentation via
Prototype-Anchored Feature Alignment and Contrastive Learning [57.43322536718131]
医用画像セグメンテーションのための2段階のソースフリードメイン適応(SFDA)フレームワークを提案する。
プロトタイプアンコールされた特徴アライメントの段階では,まず,事前学習した画素ワイド分類器の重みを原プロトタイプとして利用する。
そこで,本研究では,目標となる特徴とクラスプロトタイプとの整合性を期待するコストを最小化し,双方向輸送を導入する。
論文 参考訳(メタデータ) (2023-07-19T06:07:12Z) - Enhancing Visual Domain Adaptation with Source Preparation [5.287588907230967]
ドメイン適応技術は、ソースドメイン自体の特性を考慮できません。
本稿では,ソース領域バイアスを軽減する手法であるソース準備(SP)を提案する。
また,ベースライン上のmIoUでは最大40.64%の改善が見られた。
論文 参考訳(メタデータ) (2023-06-16T18:56:44Z) - Diffusion-based Target Sampler for Unsupervised Domain Adaptation [5.025971841729201]
大きなドメインシフトと対象ドメインのサンプル不足により、既存のUDAメソッドは最適以下のパフォーマンスを実現する。
そこで我々はDTS(Diffusion-based Target Sampler)を提案する。
生成されたサンプルは、ターゲットドメインのデータ分布を十分にシミュレートすることができ、既存のUDAメソッドがソースドメインからターゲットドメインへの転送をより容易にするのに役立つ。
論文 参考訳(メタデータ) (2023-03-17T02:07:43Z) - One-Shot Domain Adaptive and Generalizable Semantic Segmentation with
Class-Aware Cross-Domain Transformers [96.51828911883456]
セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。
従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。
実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
論文 参考訳(メタデータ) (2022-12-14T15:54:15Z) - QuadFormer: Quadruple Transformer for Unsupervised Domain Adaptation in
Power Line Segmentation of Aerial Images [12.840195641761323]
ドメイン適応型セマンティックセグメンテーションのための新しいフレームワークを提案する。
階層的な四重変圧器は、伝達可能なコンテキストに適応するために、クロスアテンションと自己アテンションのメカニズムを組み合わせる。
ARPLSynとARPLRealの2つのデータセットを提示し、教師なし領域適応電力線分割の研究をさらに進める。
論文 参考訳(メタデータ) (2022-11-29T03:15:27Z) - Deep Unsupervised Domain Adaptation: A Review of Recent Advances and
Perspectives [16.68091981866261]
対象領域のデータの性能低下に対応するために、教師なし領域適応(UDA)を提案する。
UDAは、自然言語処理、ビデオ解析、自然言語処理、時系列データ分析、医用画像解析など、有望な成果を上げている。
論文 参考訳(メタデータ) (2022-08-15T20:05:07Z) - An Unsupervised Domain Adaptive Approach for Multimodal 2D Object
Detection in Adverse Weather Conditions [5.217255784808035]
本稿では、ソースとターゲットドメイン間のドメインギャップを埋めるために、教師なしのドメイン適応フレームワークを提案する。
天候の歪みをシミュレートするデータ拡張方式を用いて、ドメインの混乱を増し、ソースデータへの過度な適合を防止する。
DENSEデータセットで行った実験は、我々の手法がドメインギャップを大幅に軽減できることを示している。
論文 参考訳(メタデータ) (2022-03-07T18:10:40Z) - Exploring Adversarially Robust Training for Unsupervised Domain
Adaptation [71.94264837503135]
Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。
本稿では、UDAのドメイン不変性を学習しながら、ATを介してラベルなしデータのロバスト性を高める方法について検討する。
本稿では,ARTUDA と呼ばれる UDA の適応的ロバストトレーニング手法を提案する。
論文 参考訳(メタデータ) (2022-02-18T17:05:19Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2021-08-28T09:29:14Z) - Semi-Supervised Domain Adaptation with Prototypical Alignment and
Consistency Learning [86.6929930921905]
本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。
ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。
具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
論文 参考訳(メタデータ) (2021-04-19T08:46:08Z) - UDALM: Unsupervised Domain Adaptation through Language Modeling [79.73916345178415]
複合分類とマスキング言語モデル損失を用いた微調整手順であるUDALMについて紹介します。
本実験では, 混合損失スケールと利用可能な目標データの量で訓練されたモデルの性能を, 停止基準として有効に用いることを示した。
この方法は、amazon reviewsセンチメントデータセットの12のドメインペアで評価され、9.1.74%の精度が得られ、最先端よりも1.11%の絶対的な改善が得られます。
論文 参考訳(メタデータ) (2021-04-14T19:05:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。