論文の概要: Always Clear Days: Degradation Type and Severity Aware All-In-One
Adverse Weather Removal
- arxiv url: http://arxiv.org/abs/2310.18293v1
- Date: Fri, 27 Oct 2023 17:29:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 12:42:23.193640
- Title: Always Clear Days: Degradation Type and Severity Aware All-In-One
Adverse Weather Removal
- Title(参考訳): 常に晴れる日: 悪化タイプと重大度が悪天候の排除を全て認識する
- Authors: Yu-Wei Chen, Soo-Chang Pei
- Abstract要約: オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の天候劣化を回復することを目的としている。
視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルである textbfUtilityIR を提案する。
- 参考スコア(独自算出の注目度): 8.58670633761819
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: All-in-one adverse weather removal is an emerging topic on image restoration,
which aims to restore multiple weather degradation in an unified model, and the
challenging are twofold. First, discovering and handling the property of
multi-domain in target distribution formed by multiple weather conditions.
Second, design efficient and effective operations for different degradation
types. To address this problem, most prior works focus on the multi-domain
caused by weather type. Inspired by inter\&intra-domain adaptation literature,
we observed that not only weather type but also weather severity introduce
multi-domain within each weather type domain, which is ignored by previous
methods, and further limit their performance. To this end, we proposed a
degradation type and severity aware model, called \textbf{UtilityIR}, for blind
all-in-one bad weather image restoration. To extract weather information from
single image, we proposed a novel Marginal Quality Ranking Loss (MQRL) and
utilized Contrastive Loss (CL) to guide weather severity and type extraction,
and leverage a bag of novel techniques such as Multi-Head Cross Attention
(MHCA) and Local-Global Adaptive Instance Normalization (LG-AdaIN) to
efficiently restore spatial varying weather degradation. The proposed method
can significantly outperform the SOTA methods subjectively and objectively on
different weather restoration tasks with a large margin, and enjoy less model
parameters. Proposed method even can restore \textbf{unseen} domain combined
multiple degradation images, and modulating restoration level. Implementation
code will be available at
{https://github.com/fordevoted/UtilityIR}{\textit{this repository}}
- Abstract(参考訳): オールインワンの悪天候除去は、統一されたモデルで複数の気象劣化を回復することを目的とした、画像復元の新たな話題である。
まず,複数の気象条件によって形成されるターゲット分布におけるマルチドメインの特性の発見と処理を行う。
第二に、異なる劣化タイプの設計を効率的かつ効果的に行う。
この問題に対処するため、ほとんどの先行研究は気象タイプに起因するマルチドメインに焦点を当てている。
気象のタイプだけでなく,気象の重大さも,従来の手法では無視されている各気象ドメインにマルチドメインを導入し,さらに性能を制限していることが,インター・イントラ・ドメイン適応文献に着想を得た。
そこで本研究では,悪天候画像復元のための劣化型および重大度対応モデルである \textbf{utilityir} を提案する。
単一画像から気象情報を抽出するために,MHCA (Multi-Head Cross Attention) やLG-Global Adaptive Instance Normalization (LG-AdaIN) などの新しい手法を応用し,空間的な気象劣化を効率的に復元する手法として,新規なMarginal Quality Ranking Loss (MQRL) とContrastive Loss (CL) を提案する。
提案手法は, 異なる気象復旧作業において, 主観的かつ客観的にSOTA法を著しく上回り, より少ないモデルパラメータを享受できる。
提案手法は、複数の劣化画像を組み合わせた \textbf{unseen} ドメインを復元し、復元レベルを調整できる。
実装コードは、https://github.com/fordevoted/UtilityIR}{\textit{this repository}}で利用可能になる。
関連論文リスト
- MWFormer: Multi-Weather Image Restoration Using Degradation-Aware Transformers [44.600209414790854]
悪天候下で撮影された画像の復元は、多くのコンピュータビジョンアプリケーションにとって基本的な課題である。
本稿では,マルチウェザー変換器 (MWFormer) を提案する。
MWFormerは,既存の最先端手法と比較して,大幅な性能向上を実現していることを示す。
論文 参考訳(メタデータ) (2024-11-26T08:47:39Z) - TANet: Triplet Attention Network for All-In-One Adverse Weather Image Restoration [40.88723587140098]
逆気象画像の復元は、悪天候によるヘイズ、雨、雪などの不要な劣化物を除去することを目的としている。
本稿では,オールインワンの悪天候画像復元を効果的かつ効果的に行うために,トリプルト注意ネットワーク(TANet)を提案する。
論文 参考訳(メタデータ) (2024-10-10T17:52:24Z) - Multiple weather images restoration using the task transformer and adaptive mixup strategy [14.986500375481546]
本稿では,複雑な気象条件を適応的に効果的に処理できる,マルチタスクの厳しい天候除去モデルを提案する。
本モデルでは,気象タスクシークエンスジェネレータを組み込んで,気象タイプに特有な特徴に選択的に注目する自己認識機構を実現する。
提案モデルでは,公開データセット上での最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-09-05T04:55:40Z) - Continual All-in-One Adverse Weather Removal with Knowledge Replay on a
Unified Network Structure [92.8834309803903]
現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。
我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。
連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
論文 参考訳(メタデータ) (2024-03-12T03:50:57Z) - Decoupling Degradation and Content Processing for Adverse Weather Image
Restoration [79.59228846484415]
逆の気象画像復元は、雨、干し草、雪などの様々な気象の影響を受ける人々から、鮮明なイメージを復元する試みである。
従来の手法では、1つのネットワーク内で複数の気象タイプを処理できるが、これら2つのプロセス間の決定的な区別を無視し、復元された画像の品質を制限している。
本研究は,DDCNetと呼ばれる新しい悪天候画像復元手法を導入し,チャネル統計に基づく特徴レベルの劣化除去とコンテンツ復元を分離する。
論文 参考訳(メタデータ) (2023-12-08T12:26:38Z) - MetaWeather: Few-Shot Weather-Degraded Image Restoration [17.63266150036311]
メタウェザー(MetaWeather)は、多様な新しい気象条件を単一の統一モデルで処理できる普遍的なアプローチである。
メタウェザーは未確認の気象条件に適応でき、最先端のマルチウェザー画像復元法よりも優れることを示す。
論文 参考訳(メタデータ) (2023-08-28T06:25:40Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳(メタデータ) (2023-06-15T10:06:13Z) - Counting Crowds in Bad Weather [68.50690406143173]
本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。
モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。
実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
論文 参考訳(メタデータ) (2023-06-02T00:00:09Z) - TransWeather: Transformer-based Restoration of Images Degraded by
Adverse Weather Conditions [77.20136060506906]
トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。
TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。
実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
論文 参考訳(メタデータ) (2021-11-29T18:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。