論文の概要: SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal
- arxiv url: http://arxiv.org/abs/2409.19679v1
- Date: Sun, 29 Sep 2024 12:12:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:04:13.146681
- Title: SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal
- Title(参考訳): SemiDDM-Weather:オールインワン逆気象除去のための半教師付き学習フレームワーク
- Authors: Fang Long, Wenkang Su, Zixuan Li, Lei Cai, Mingjie Li, Yuan-Gen Wang, Xiaochun Cao,
- Abstract要約: 逆天候除去は、悪天候下で透明な視界を回復することを目的としている。
本稿では教師ネットワーク上に構築された半教師付きオールインワン悪天候除去フレームワークを提案する。
- 参考スコア(独自算出の注目度): 57.52777076116241
- License:
- Abstract: Adverse weather removal aims to restore clear vision under adverse weather conditions. Existing methods are mostly tailored for specific weather types and rely heavily on extensive labeled data. In dealing with these two limitations, this paper presents a pioneering semi-supervised all-in-one adverse weather removal framework built on the teacher-student network with a Denoising Diffusion Model (DDM) as the backbone, termed SemiDDM-Weather. As for the design of DDM backbone in our SemiDDM-Weather, we adopt the SOTA Wavelet Diffusion Model-Wavediff with customized inputs and loss functions, devoted to facilitating the learning of many-to-one mapping distributions for efficient all-in-one adverse weather removal with limited label data. To mitigate the risk of misleading model training due to potentially inaccurate pseudo-labels generated by the teacher network in semi-supervised learning, we introduce quality assessment and content consistency constraints to screen the "optimal" outputs from the teacher network as the pseudo-labels, thus more effectively guiding the student network training with unlabeled data. Experimental results show that on both synthetic and real-world datasets, our SemiDDM-Weather consistently delivers high visual quality and superior adverse weather removal, even when compared to fully supervised competitors. Our code and pre-trained model are available at this repository.
- Abstract(参考訳): 逆天候除去は、悪天候下で透明な視界を回復することを目的としている。
既存の方法は、主に特定の気象タイプに合わせて調整されており、広範囲のラベル付きデータに大きく依存している。
この2つの制約に対処するために,教師学生ネットワーク上に構築された半教師付きオールインワン悪天候除去フレームワークを,セミDDMウェザー(SemiDDM-Weather)と呼ぶバックボーンとしてデノイング拡散モデル(DDM)を用いて提案する。
筆者らは,SemiDDM-WeatherにおけるDDMバックボーンの設計について,限定ラベルデータを用いた効率的なオールインワン悪天候除去のための多対一マッピング分布の学習を容易にすることを目的とした,カスタマイズされた入力と損失関数を備えたSOTAウェーブレット拡散モデル-Wavediffを採用している。
半教師学習において教師ネットワークが生み出す潜在的に不正確な擬似ラベルによる誤学習のリスクを軽減するため,教師ネットワークからの「最適」出力を擬似ラベルとして表示する品質評価と内容整合性制約を導入し,未ラベルデータによる学生ネットワークトレーニングをより効果的に指導する。
実験結果から,SemiDDM-Weatherは,総合的および実世界の両方のデータセットにおいて,完全に監督された競合相手と比較して,常に高い視覚的品質と優れた悪天候の除去を提供することが示された。
私たちのコードと事前訓練されたモデルは、このリポジトリで利用可能です。
関連論文リスト
- Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for
Video Adverse Weather Removal [53.15046196592023]
ビデオの悪天候除去におけるテスト時間適応について紹介する。
本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-12T14:21:30Z) - ControlUDA: Controllable Diffusion-assisted Unsupervised Domain
Adaptation for Cross-Weather Semantic Segmentation [14.407346832155042]
ControlUDAは、悪天候下でのUDAセグメンテーションに適した拡散支援フレームワークである。
DMをチューニングするために、事前に訓練されたセグメンタからターゲットを前もって利用し、行方不明のターゲットドメインラベルを補償する。
UDAControlNetは、悪天候下での高忠実度データ生成をターゲットとした、条件付きマルチスケールおよび即時拡張ネットワークである。
論文 参考訳(メタデータ) (2024-02-09T14:48:20Z) - WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in
Adverse Weather [9.619700283574533]
本稿では,悪天候条件下での画像の性能向上につながる一般的なペア学習手法を提案する。
我々は、正確な晴天と悪天候画像のペアで、最初のセマンティックセグメンテーションデータセットを作成する。
その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
論文 参考訳(メタデータ) (2023-12-15T04:57:54Z) - Learning Real-World Image De-Weathering with Imperfect Supervision [57.748585821252824]
既存の現実世界のデヒータリングデータセットは、接地トラス画像と入力された劣化画像の間に、一貫性のない照明、位置、テクスチャを示すことが多い。
我々は、入力劣化画像と可能な限り一貫性のある擬似ラベルを生成するための一貫性ラベルコンストラクタ(CLC)を開発した。
我々は,従来の不完全ラベルと擬似ラベルを組み合わせることで,情報割当戦略による脱ウェザリングモデルを共同で監督する。
論文 参考訳(メタデータ) (2023-10-23T14:02:57Z) - Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。
我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
論文 参考訳(メタデータ) (2023-08-18T17:59:01Z) - DL-Corrector-Remapper: A grid-free bias-correction deep learning
methodology for data-driven high-resolution global weather forecasting [11.334341754942917]
我々はFourCastNet(FCN)の一様予測を補正し、再マップし、微調整する手法を開発した。
これは、数値天気予報(NWP)のバイアス補正と後処理に似ている
私たちはこのネットワークをDLCR(Deep-Learning-Corrector-Remapper)と呼ぶ。
論文 参考訳(メタデータ) (2022-10-21T23:04:44Z) - Unsupervised Restoration of Weather-affected Images using Deep Gaussian
Process-based CycleGAN [92.15895515035795]
本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。
我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。
提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
論文 参考訳(メタデータ) (2022-04-23T01:30:47Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z) - Hazy Re-ID: An Interference Suppression Model For Domain Adaptation
Person Re-identification Under Inclement Weather Condition [9.577145340915115]
本稿では,ドメイン適応型Re-IDにおける悪天候による干渉に対処する新しい干渉抑制モデル(ISM)を提案する。
提案手法は,2つの合成データセットにおいて,最先端手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2021-04-22T11:59:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。