論文の概要: ControlUDA: Controllable Diffusion-assisted Unsupervised Domain Adaptation for Cross-Weather Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2402.06446v1
• Date: Fri, 9 Feb 2024 14:48:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 16:41:47.115119
• Title: ControlUDA: Controllable Diffusion-assisted Unsupervised Domain Adaptation for Cross-Weather Semantic Segmentation
• Title（参考訳）: controluda:クロスウェザーセマンティクスセグメンテーションのための制御可能な拡散支援非教師なしドメイン適応
• Authors: Fengyi Shen, Li Zhou, Kagan Kucukaytekin, Ziyuan Liu, He Wang, Alois Knoll
• Abstract要約: ControlUDAは、悪天候下でのUDAセグメンテーションに適した拡散支援フレームワークである。 DMをチューニングするために、事前に訓練されたセグメンタからターゲットを前もって利用し、行方不明のターゲットドメインラベルを補償する。 UDAControlNetは、悪天候下での高忠実度データ生成をターゲットとした、条件付きマルチスケールおよび即時拡張ネットワークである。
• 参考スコア（独自算出の注目度）: 14.407346832155042
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Data generation is recognized as a potent strategy for unsupervised domain adaptation (UDA) pertaining semantic segmentation in adverse weathers. Nevertheless, these adverse weather scenarios encompass multiple possibilities, and high-fidelity data synthesis with controllable weather is under-researched in previous UDA works. The recent strides in large-scale text-to-image diffusion models (DM) have ushered in a novel avenue for research, enabling the generation of realistic images conditioned on semantic labels. This capability proves instrumental for cross-domain data synthesis from source to target domain owing to their shared label space. Thus, source domain labels can be paired with those generated pseudo target data for training UDA. However, from the UDA perspective, there exists several challenges for DM training: (i) ground-truth labels from target domain are missing; (ii) the prompt generator may produce vague or noisy descriptions of images from adverse weathers; (iii) existing arts often struggle to well handle the complex scene structure and geometry of urban scenes when conditioned only on semantic labels. To tackle the above issues, we propose ControlUDA, a diffusion-assisted framework tailored for UDA segmentation under adverse weather conditions. It first leverages target prior from a pre-trained segmentor for tuning the DM, compensating the missing target domain labels; It also contains UDAControlNet, a condition-fused multi-scale and prompt-enhanced network targeted at high-fidelity data generation in adverse weathers. Training UDA with our generated data brings the model performances to a new milestone (72.0 mIoU) on the popular Cityscapes-to-ACDC benchmark for adverse weathers. Furthermore, ControlUDA helps to achieve good model generalizability on unseen data.
• Abstract（参考訳）: データ生成は、悪天候における意味的セグメンテーションに関連する非教師なし領域適応(UDA)の強力な戦略として認識されている。 しかしながら、これらの悪天候シナリオには、複数の可能性が含まれており、制御可能な気象を伴う高忠実なデータ合成は、以前のUDA研究であまり研究されていない。 大規模テキストから画像への拡散モデル(dm)の最近の進歩は、新しい研究の道筋を辿り、意味ラベルに基づく現実的な画像の生成を可能にした。 この機能は、共有ラベル空間のため、ソースからターゲットドメインへのクロスドメインデータ合成に役立つ。 これにより、ソースドメインラベルと生成した擬似ターゲットデータとをペアリングしてUDAをトレーニングすることができる。 しかし、UDAの観点からは、DMトレーニングにはいくつかの課題がある。 (i)対象領域からの地中ラベルが欠落している。 二 プロンプト発生装置は、悪天候からの画像の曖昧又は騒々しい説明をすることができる。 (iii)セマンティクスラベルのみを条件とする場合、都市景観の複雑な景観構造や幾何学をうまく扱うのに苦労する場合が多い。 以上の課題に対処するため,悪天候下でのUDAセグメンテーションに適した拡散支援フレームワークであるControlUDAを提案する。 UDAControlNetは、悪天候下での高忠実なデータ生成をターゲットとした、条件付きマルチスケールで高速に拡張されたネットワークである。 UDAを生成されたデータでトレーニングすることで、悪天候に対するCityscapes-to-ACDCベンチマークにおいて、モデルのパフォーマンスが新たなマイルストーン(72.0 mIoU)に到達します。 さらに、制御UDAは、見えないデータに対して優れたモデル一般化性を達成するのに役立ちます。

関連論文リスト

• SiamSeg: Self-Training with Contrastive Learning for Unsupervised Domain Adaptation Semantic Segmentation in Remote Sensing [13.549403813487022]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付けされたソースドメインデータを活用しながら、ラベル付けされていないターゲットドメインデータからモデルを学習することを可能にする。 対照的な学習を UDA に統合し,対象領域における意味情報を捕捉するモデルの能力を高めることを提案する。 我々の手法であるSimSegは既存の手法より優れ、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-10-17T11:59:39Z)
• Diffuse-UDA: Addressing Unsupervised Domain Adaptation in Medical Image Segmentation with Appearance and Structure Aligned Diffusion Models [31.006056670998852]
  3次元医用画像におけるvoxelレベルのアノテーションの欠如と複雑さは重要な課題である。 この格差は、医療における人工知能アルゴリズムの公平性に影響を与える。 医用画像セグメンテーションにおけるUnsupervised Domain Adaptation(UDA)に取り組むために拡散モデルを利用した新しい手法であるDiffuse-UDAを紹介する。
  論文  参考訳（メタデータ） (2024-08-12T08:21:04Z)
• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• DACAD: Domain Adaptation Contrastive Learning for Anomaly Detection in Multivariate Time Series [25.434379659643707]
  時系列異常検出では、ラベル付きデータの不足が正確なモデルの開発に困難をもたらす。 時系列における異常検出のための新しいドメインコントラスト学習モデル(DACAD)を提案する。 本モデルでは,ソース領域に対する教師付きコントラスト損失と,ターゲット領域に対する自己監督型コントラスト型3重項損失を用いる。
  論文  参考訳（メタデータ） (2024-04-17T11:20:14Z)
• Unified Domain Adaptive Semantic Segmentation [96.74199626935294]
  Unsupervised Adaptive Domain Semantic (UDA-SS)は、ラベル付きソースドメインからラベル付きターゲットドメインに監督を移すことを目的としている。 本稿では,特徴量と特徴量との相違に対処するQuad-directional Mixup(QuadMix)法を提案する。 提案手法は,4つの挑戦的UDA-SSベンチマークにおいて,最先端の成果を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2023-11-22T09:18:49Z)
• Source-Free Domain Adaptation for Medical Image Segmentation via Prototype-Anchored Feature Alignment and Contrastive Learning [57.43322536718131]
  医用画像セグメンテーションのための2段階のソースフリードメイン適応(SFDA)フレームワークを提案する。 プロトタイプアンコールされた特徴アライメントの段階では,まず,事前学習した画素ワイド分類器の重みを原プロトタイプとして利用する。 そこで,本研究では,目標となる特徴とクラスプロトタイプとの整合性を期待するコストを最小化し,双方向輸送を導入する。
  論文  参考訳（メタデータ） (2023-07-19T06:07:12Z)
• Enhancing Visual Domain Adaptation with Source Preparation [5.287588907230967]
  ドメイン適応技術は、ソースドメイン自体の特性を考慮できません。 本稿では,ソース領域バイアスを軽減する手法であるソース準備(SP)を提案する。 また,ベースライン上のmIoUでは最大40.64%の改善が見られた。
  論文  参考訳（メタデータ） (2023-06-16T18:56:44Z)
• One-Shot Domain Adaptive and Generalizable Semantic Segmentation with Class-Aware Cross-Domain Transformers [96.51828911883456]
  セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。 従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。 実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T15:54:15Z)
• An Unsupervised Domain Adaptive Approach for Multimodal 2D Object Detection in Adverse Weather Conditions [5.217255784808035]
  本稿では、ソースとターゲットドメイン間のドメインギャップを埋めるために、教師なしのドメイン適応フレームワークを提案する。 天候の歪みをシミュレートするデータ拡張方式を用いて、ドメインの混乱を増し、ソースデータへの過度な適合を防止する。 DENSEデータセットで行った実験は、我々の手法がドメインギャップを大幅に軽減できることを示している。
  論文  参考訳（メタデータ） (2022-03-07T18:10:40Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。