論文の概要: TransWeather: Transformer-based Restoration of Images Degraded by Adverse Weather Conditions

• arxiv url: http://arxiv.org/abs/2111.14813v1
• Date: Mon, 29 Nov 2021 18:57:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 17:32:19.598574
• Title: TransWeather: Transformer-based Restoration of Images Degraded by Adverse Weather Conditions
• Title（参考訳）: TransWeather: 逆気象条件で劣化した画像のトランスフォーマーによる復元
• Authors: Jeya Maria Jose Valanarasu, Rajeev Yasarla, and Vishal M. Patel
• Abstract要約: トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。 TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。 実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
• 参考スコア（独自算出の注目度）: 77.20136060506906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Removing adverse weather conditions like rain, fog, and snow from images is an important problem in many applications. Most methods proposed in the literature have been designed to deal with just removing one type of degradation. Recently, a CNN-based method using neural architecture search (All-in-One) was proposed to remove all the weather conditions at once. However, it has a large number of parameters as it uses multiple encoders to cater to each weather removal task and still has scope for improvement in its performance. In this work, we focus on developing an efficient solution for the all adverse weather removal problem. To this end, we propose TransWeather, a transformer-based end-to-end model with just a single encoder and a decoder that can restore an image degraded by any weather condition. Specifically, we utilize a novel transformer encoder using intra-patch transformer blocks to enhance attention inside the patches to effectively remove smaller weather degradations. We also introduce a transformer decoder with learnable weather type embeddings to adjust to the weather degradation at hand. TransWeather achieves significant improvements across multiple test datasets over both All-in-One network as well as methods fine-tuned for specific tasks. In particular, TransWeather pushes the current state-of-the-art by +6.34 PSNR on the Test1 (rain+fog) dataset, +4.93 PSNR on the SnowTest100K-L dataset and +3.11 PSNR on the RainDrop test dataset. TransWeather is also validated on real world test images and found to be more effective than previous methods. Implementation code and pre-trained weights can be accessed at https://github.com/jeya-maria-jose/TransWeather .
• Abstract（参考訳）: 画像から雨、霧、雪などの悪条件を取り除くことは、多くのアプリケーションにおいて重要な問題である。 文献で提案されているほとんどの手法は、ただ一つのタイプの劣化を取り除くだけのために設計されている。 近年,ニューラルアーキテクチャサーチ(All-in-One)を用いたCNNベースの手法が提案されている。 しかし、複数のエンコーダを使用して各天候除去タスクに対応し、性能改善のためのスコープがまだあるため、多くのパラメータがある。 本研究は,悪天候除去問題に対する効率的な解決策の開発に焦点をあてる。 この目的のために,トランスウェザー (TransWeather) を提案する。トランスウェザー (TransWeather) は1つのエンコーダとデコーダのみで,任意の気象条件で劣化した画像を復元できる。 具体的には,パッチ内トランスフォーマーブロックを用いた新しいトランスコーダを用いて,パッチ内の注意力を高め,より小さな気象劣化を効果的に除去する。 また,学習可能な気象タイプを組み込んだ変圧器デコーダを導入し,気象劣化の調整を行う。 TransWeatherは、All-in-Oneネットワークと特定のタスク用に微調整されたメソッドの両方で、複数のテストデータセット間で大幅に改善されている。 特にTransWeatherは、Test1(rain+fog)データセットで+6.34 PSNR、SnowTest100K-Lデータセットで+4.93 PSNR、RainDropテストデータセットで+3.11 PSNRで現在の最先端をプッシュする。 TransWeatherは実世界のテスト画像でも検証され、従来の方法よりも効果的であることが判明した。 実装コードと事前トレーニングされたウェイトは、https://github.com/jeya-maria-jose/TransWeather.orgでアクセスすることができる。

関連論文リスト

• MWFormer: Multi-Weather Image Restoration Using Degradation-Aware Transformers [44.600209414790854]
  悪天候下で撮影された画像の復元は、多くのコンピュータビジョンアプリケーションにとって基本的な課題である。 本稿では,マルチウェザー変換器 (MWFormer) を提案する。 MWFormerは,既存の最先端手法と比較して,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-26T08:47:39Z)
• SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal [57.52777076116241]
  逆天候除去は、悪天候下で透明な視界を回復することを目的としている。 本稿では教師ネットワーク上に構築された半教師付きオールインワン悪天候除去フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-29T12:12:22Z)
• Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal [53.15046196592023]
  ビデオの悪天候除去におけるテスト時間適応について紹介する。 本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:21:30Z)
• Always Clear Days: Degradation Type and Severity Aware All-In-One Adverse Weather Removal [8.58670633761819]
  オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。 本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:29:55Z)
• Learning Real-World Image De-Weathering with Imperfect Supervision [57.748585821252824]
  既存の現実世界のデヒータリングデータセットは、接地トラス画像と入力された劣化画像の間に、一貫性のない照明、位置、テクスチャを示すことが多い。 我々は、入力劣化画像と可能な限り一貫性のある擬似ラベルを生成するための一貫性ラベルコンストラクタ(CLC)を開発した。 我々は,従来の不完全ラベルと擬似ラベルを組み合わせることで,情報割当戦略による脱ウェザリングモデルを共同で監督する。
  論文  参考訳（メタデータ） (2023-10-23T14:02:57Z)
• Video Adverse-Weather-Component Suppression Network via Weather Messenger and Adversarial Backpropagation [45.184188689391775]
  ビデオ悪天候抑制ネットワーク(ViWS-Net)を開発することにより、悪天候条件から映像を復元する第1の枠組みを提案する。 我々のViWS-Netは、あらゆる気象条件で劣化したビデオの復元において、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-24T17:13:55Z)
• Sit Back and Relax: Learning to Drive Incrementally in All Weather Conditions [16.014293219912]
  自律走行シナリオでは、現在の物体検出モデルは、晴れた天候でテストした場合に強い性能を示す。 天気予報ネットワークのアフィンパラメータのみを異なる気象条件に適応させるために, DILAM(Domain-Incremental Learning through Activation Matching)を提案する。 私たちのメモリバンクは非常に軽量で、アフィンパラメータは典型的な物体検出器の2%以下である。
  論文  参考訳（メタデータ） (2023-05-30T11:37:41Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• Towards an Effective and Efficient Transformer for Rain-by-snow Weather Removal [23.224536745724077]
  降雨による除雪は、降雪や降雪の粒子を除去することを目的とした、気象劣化画像復元の特別課題である。 本稿では,この課題に対処する効率的かつ効率的な変換器であるRSFormerを提案する。 RSFormerは、他の復元方法と比較して、パフォーマンスと時間消費の最良のトレードオフを達成する。
  論文  参考訳（メタデータ） (2023-04-06T04:39:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。