論文の概要: MWFormer: Multi-Weather Image Restoration Using Degradation-Aware Transformers

• arxiv url: http://arxiv.org/abs/2411.17226v1
• Date: Tue, 26 Nov 2024 08:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:35:03.101703
• Title: MWFormer: Multi-Weather Image Restoration Using Degradation-Aware Transformers
• Title（参考訳）: MWFormer:劣化認識変換器を用いたマルチウェザー画像復元
• Authors: Ruoxi Zhu, Zhengzhong Tu, Jiaming Liu, Alan C. Bovik, Yibo Fan,
• Abstract要約: 悪天候下で撮影された画像の復元は、多くのコンピュータビジョンアプリケーションにとって基本的な課題である。 本稿では,マルチウェザー変換器 (MWFormer) を提案する。 MWFormerは,既存の最先端手法と比較して,大幅な性能向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 44.600209414790854
• License:
• Abstract: Restoring images captured under adverse weather conditions is a fundamental task for many computer vision applications. However, most existing weather restoration approaches are only capable of handling a specific type of degradation, which is often insufficient in real-world scenarios, such as rainy-snowy or rainy-hazy weather. Towards being able to address these situations, we propose a multi-weather Transformer, or MWFormer for short, which is a holistic vision Transformer that aims to solve multiple weather-induced degradations using a single, unified architecture. MWFormer uses hyper-networks and feature-wise linear modulation blocks to restore images degraded by various weather types using the same set of learned parameters. We first employ contrastive learning to train an auxiliary network that extracts content-independent, distortion-aware feature embeddings that efficiently represent predicted weather types, of which more than one may occur. Guided by these weather-informed predictions, the image restoration Transformer adaptively modulates its parameters to conduct both local and global feature processing, in response to multiple possible weather. Moreover, MWFormer allows for a novel way of tuning, during application, to either a single type of weather restoration or to hybrid weather restoration without any retraining, offering greater controllability than existing methods. Our experimental results on multi-weather restoration benchmarks show that MWFormer achieves significant performance improvements compared to existing state-of-the-art methods, without requiring much computational cost. Moreover, we demonstrate that our methodology of using hyper-networks can be integrated into various network architectures to further boost their performance. The code is available at: https://github.com/taco-group/MWFormer
• Abstract（参考訳）: 悪天候下で撮影された画像の復元は、多くのコンピュータビジョンアプリケーションにとって基本的な課題である。 しかし、既存の気象復旧手法のほとんどは、雨雪や雨天のような現実のシナリオでは不十分な、特定の種類の劣化を扱う能力しか持たない。 このような状況に対処するために,我々はMWFormer (MWFormer, MWFormer, MWFormer) を提案する。 MWFormerは、ハイパーネットワークと機能ワイド線形変調ブロックを使用して、学習パラメータの同じセットを使用して、さまざまな気象タイプによって劣化した画像を復元する。 まず、コントラスト学習を用いて、コンテンツに依存しない歪み認識機能埋め込みを抽出し、予測された気象タイプを効率的に表現する補助ネットワークを訓練する。 これらの気象インフォームド予測によって導かれ、画像復元変換器はパラメータを適応的に調整し、複数の可能な気象に対応するため、局所的およびグローバルな特徴処理を実行する。 さらに、MWFormerは、適用期間中に、単一の種類の気象復旧か、再訓練なしにハイブリッド気象復旧を行うための、新しいチューニング方法を可能にし、既存の方法よりも制御性が高い。 MWFormerは, 従来の最先端手法と比較して, 計算コストを多く必要とせず, 大幅な性能向上を実現していることを示す。 さらに,ハイパーネットワークの手法を様々なネットワークアーキテクチャに統合し,性能をさらに向上させることが実証された。 コードは、https://github.com/taco-group/MWFormer.comで入手できる。

関連論文リスト

• Multiple weather images restoration using the task transformer and adaptive mixup strategy [14.986500375481546]
  本稿では,複雑な気象条件を適応的に効果的に処理できる,マルチタスクの厳しい天候除去モデルを提案する。 本モデルでは,気象タスクシークエンスジェネレータを組み込んで,気象タイプに特有な特徴に選択的に注目する自己認識機構を実現する。 提案モデルでは,公開データセット上での最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-09-05T04:55:40Z)
• Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure [92.8834309803903]
  現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。 我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。 連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
  論文  参考訳（メタデータ） (2024-03-12T03:50:57Z)
• Decoupling Degradation and Content Processing for Adverse Weather Image Restoration [79.59228846484415]
  逆の気象画像復元は、雨、干し草、雪などの様々な気象の影響を受ける人々から、鮮明なイメージを復元する試みである。 従来の手法では、1つのネットワーク内で複数の気象タイプを処理できるが、これら2つのプロセス間の決定的な区別を無視し、復元された画像の品質を制限している。 本研究は,DDCNetと呼ばれる新しい悪天候画像復元手法を導入し,チャネル統計に基づく特徴レベルの劣化除去とコンテンツ復元を分離する。
  論文  参考訳（メタデータ） (2023-12-08T12:26:38Z)
• Always Clear Days: Degradation Type and Severity Aware All-In-One Adverse Weather Removal [8.58670633761819]
  オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。 本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:29:55Z)
• Video Adverse-Weather-Component Suppression Network via Weather Messenger and Adversarial Backpropagation [45.184188689391775]
  ビデオ悪天候抑制ネットワーク(ViWS-Net)を開発することにより、悪天候条件から映像を復元する第1の枠組みを提案する。 我々のViWS-Netは、あらゆる気象条件で劣化したビデオの復元において、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-24T17:13:55Z)
• MetaWeather: Few-Shot Weather-Degraded Image Restoration [17.63266150036311]
  メタウェザー(MetaWeather)は、多様な新しい気象条件を単一の統一モデルで処理できる普遍的なアプローチである。 メタウェザーは未確認の気象条件に適応でき、最先端のマルチウェザー画像復元法よりも優れることを示す。
  論文  参考訳（メタデータ） (2023-08-28T06:25:40Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• GridFormer: Residual Dense Transformer with Grid Structure for Image Restoration in Adverse Weather Conditions [97.45751035126548]
  我々はGridFormerと呼ばれる新しいトランスフォーマーベースのフレームワークを提案する。 GridFormerは、悪天候下でのイメージ復元のバックボーンとして機能する。 このフレームワークは5つの多様な画像復元タスクに対して最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-05-29T03:03:53Z)
• TransWeather: Transformer-based Restoration of Images Degraded by Adverse Weather Conditions [77.20136060506906]
  トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。 TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。 実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-11-29T18:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。