論文の概要: Video Adverse-Weather-Component Suppression Network via Weather Messenger and Adversarial Backpropagation

• arxiv url: http://arxiv.org/abs/2309.13700v1
• Date: Sun, 24 Sep 2023 17:13:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 18:02:46.034298
• Title: Video Adverse-Weather-Component Suppression Network via Weather Messenger and Adversarial Backpropagation
• Title（参考訳）: 天気予報メッセンジャーと逆向きバックプロパゲーションによるビデオ悪天候成分抑制ネットワーク
• Authors: Yijun Yang, Angelica I. Aviles-Rivero, Huazhu Fu, Ye Liu, Weiming Wang, Lei Zhu
• Abstract要約: ビデオ悪天候抑制ネットワーク(ViWS-Net)を開発することにより、悪天候条件から映像を復元する第1の枠組みを提案する。 我々のViWS-Netは、あらゆる気象条件で劣化したビデオの復元において、最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 45.184188689391775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although convolutional neural networks (CNNs) have been proposed to remove adverse weather conditions in single images using a single set of pre-trained weights, they fail to restore weather videos due to the absence of temporal information. Furthermore, existing methods for removing adverse weather conditions (e.g., rain, fog, and snow) from videos can only handle one type of adverse weather. In this work, we propose the first framework for restoring videos from all adverse weather conditions by developing a video adverse-weather-component suppression network (ViWS-Net). To achieve this, we first devise a weather-agnostic video transformer encoder with multiple transformer stages. Moreover, we design a long short-term temporal modeling mechanism for weather messenger to early fuse input adjacent video frames and learn weather-specific information. We further introduce a weather discriminator with gradient reversion, to maintain the weather-invariant common information and suppress the weather-specific information in pixel features, by adversarially predicting weather types. Finally, we develop a messenger-driven video transformer decoder to retrieve the residual weather-specific feature, which is spatiotemporally aggregated with hierarchical pixel features and refined to predict the clean target frame of input videos. Experimental results, on benchmark datasets and real-world weather videos, demonstrate that our ViWS-Net outperforms current state-of-the-art methods in terms of restoring videos degraded by any weather condition.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、一組の事前訓練された重みを使って単一画像の悪天候を除去するために提案されているが、時間的情報がないため、気象映像の復元に失敗した。 さらに、ビデオから悪天候を除去する既存の方法(雨、霧、雪など)は、一つの種類の悪天候にしか対応できない。 そこで本研究では,viws-net (video adverse-weather-component suppression network) の開発により,すべての悪天候から映像を復元する最初のフレームワークを提案する。 これを実現するために,まず複数の変圧器ステージを有する,気象によらないビデオトランスコーダを考案する。 さらに,気象メッセンジャーの短時間の時間モデリング機構をデザインし,近接するビデオフレームの早期ヒューズ入力を行い,気象固有の情報を学習する。 さらに,天候タイプを逆予測することにより,天候変化のない共通情報を保持し,ピクセル特徴の気象固有情報を抑制するために,勾配反転を伴う気象判別器を導入する。 最後に,階層的なピクセル特徴を時空間的に集約した残気象特性を検索し,入力ビデオのクリーンな対象フレームを予測するために,messengerによるビデオトランスフォーマデコーダを開発した。 ベンチマークデータセットと実世界の天気予報ビデオを用いた実験の結果,viws-netは,気象条件によって劣化したビデオの復元において,現在の最先端手法よりも優れています。

関連論文リスト

• MWFormer: Multi-Weather Image Restoration Using Degradation-Aware Transformers [44.600209414790854]
  悪天候下で撮影された画像の復元は、多くのコンピュータビジョンアプリケーションにとって基本的な課題である。 本稿では,マルチウェザー変換器 (MWFormer) を提案する。 MWFormerは,既存の最先端手法と比較して,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-26T08:47:39Z)
• Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal [53.15046196592023]
  ビデオの悪天候除去におけるテスト時間適応について紹介する。 本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:21:30Z)
• Always Clear Days: Degradation Type and Severity Aware All-In-One Adverse Weather Removal [8.58670633761819]
  オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。 本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:29:55Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• TransWeather: Transformer-based Restoration of Images Degraded by Adverse Weather Conditions [77.20136060506906]
  トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。 TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。 実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-11-29T18:57:09Z)
• RiWNet: A moving object instance segmentation Network being Robust in adverse Weather conditions [13.272209740926156]
  我々は、ネットワークの構造設計を通じて、気象干渉に対するレジリエンスを改善する新しい可能性に焦点を当てる。 本稿では,プログレッシブなトップダウンインタラクションとアテンションリファインメントモジュールを備えた,RiWFPNと呼ばれる新しいFPN構造を提案する。 我々は,映像中の時間情報をキャプチャして動作情報を学習するためにSOLOV2を拡張し,RiWNetと呼ばれるRiWFPNを用いた移動オブジェクトインスタンスセグメンテーションネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-04T08:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。