論文の概要: Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal

• arxiv url: http://arxiv.org/abs/2306.09008v1
• Date: Thu, 15 Jun 2023 10:06:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 15:27:05.081171
• Title: Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal
• Title（参考訳）: 大規模事前学習モデルの逆気象除去への適用
• Authors: Zhentao Tan, Yue Wu, Qiankun Liu, Qi Chu, Le Lu, Jieping Ye, Nenghai Yu
• Abstract要約: ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
• 参考スコア（独自算出の注目度）: 97.53040662243768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image restoration under adverse weather conditions (e.g., rain, snow and haze) is a fundamental computer vision problem and has important indications for various downstream applications. Different from early methods that are specially designed for specific type of weather, most recent works tend to remove various adverse weather effects simultaneously through either spatial feature representation learning or semantic information embedding. Inspired by the various successful applications of large-scale pre-trained models (e.g, CLIP), in this paper, we explore the potential benefits of them for this task through both spatial feature representation learning and semantic information embedding aspects: 1) for spatial feature representation learning, we design a Spatially-Adaptive Residual (\textbf{SAR}) Encoder to extract degraded areas adaptively. To facilitate its training, we propose a Soft Residual Distillation (\textbf{CLIP-SRD}) strategy to transfer the spatial knowledge from CLIP between clean and adverse weather images; 2) for semantic information embedding, we propose a CLIP Weather Prior (\textbf{CWP}) embedding module to make the network handle different weather conditions adaptively. This module integrates the sample specific weather prior extracted by CLIP image encoder together with the distribution specific information learned by a set of parameters, and embeds them through a cross attention mechanism. Extensive experiments demonstrate that our proposed method can achieve state-of-the-art performance under different and challenging adverse weather conditions. Code will be made available.
• Abstract（参考訳）: 悪天候下でのイメージ復元(例えば、雨、雪、ヘイズ)は基本的なコンピュータビジョンの問題であり、下流の様々な応用に重要な兆候がある。 特定の種類の気象のために特別に設計された初期の方法とは異なり、最近の研究は空間的特徴表現学習や意味情報埋め込みを通じて様々な悪天候効果を同時に除去する傾向がある。 本稿では,大規模事前学習モデル(クリップなど)の様々な応用に着想を得て,空間的特徴表現学習と意味情報埋め込みの両面から,これらの課題に対する潜在的メリットについて考察する。 1) 空間的特徴表現学習のために, 劣化領域を適応的に抽出する空間適応型残差(\textbf{SAR})エンコーダを設計する。 トレーニングを容易にするため,CLIPから環境画像と悪天候画像の間で空間知識を伝達するソフト残留蒸留(\textbf{CLIP-SRD})戦略を提案する。 2) セマンティックな情報埋め込みのために,ネットワークが異なる気象条件を適応的に扱えるように,CLIP天気予報モジュール(\textbf{CWP})を提案する。 このモジュールは、CLIPイメージエンコーダによって事前に抽出されたサンプル特定天候と、パラメータセットによって学習された分布特定情報を統合し、それらをクロスアテンション機構を介して埋め込む。 提案手法は, 気象条件の異なる, 困難な状況下で, 最先端の性能を達成できることを示す。 コードは利用可能になる。

関連論文リスト

• WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
  第1次一般気象基礎モデル(WeatherGFM)を紹介する。 気象理解タスクの幅広い範囲を統一的な方法で解決する。 我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
  論文  参考訳（メタデータ） (2024-11-08T09:14:19Z)
• Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure [92.8834309803903]
  現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。 我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。 連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
  論文  参考訳（メタデータ） (2024-03-12T03:50:57Z)
• Language-driven All-in-one Adverse Weather Removal [11.47695460133523]
  All-in-one (AiO)フレームワークは、1組のネットワークで様々な悪天候の悪化を修復する。 既存の方法は、通常現実世界のアプリケーションでは知られていない余分な監視信号に依存している。 上記の問題を緩和するLDR(Language-driven Restoration framework)を提案する。
  論文  参考訳（メタデータ） (2023-12-03T13:05:54Z)
• Always Clear Days: Degradation Type and Severity Aware All-In-One Adverse Weather Removal [8.58670633761819]
  オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。 本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:29:55Z)
• WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions [42.99525455786019]
  カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。 提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
  論文  参考訳（メタデータ） (2023-10-09T09:26:27Z)
• ClimaX: A foundation model for weather and climate [51.208269971019504]
  ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
  論文  参考訳（メタデータ） (2023-01-24T23:19:01Z)
• TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction [64.63645677568384]
  本稿では,逐次時間間隔でサリエンシマップを出力する新たなサリエンシ予測モデルを提案する。 提案手法は,学習した時間マップを組み合わせることで,サリエンシ予測を局所的に調整する。 私たちのコードはGitHubで公開されます。
  論文  参考訳（メタデータ） (2023-01-05T22:10:16Z)
• Unsupervised Restoration of Weather-affected Images using Deep Gaussian Process-based CycleGAN [92.15895515035795]
  本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。 我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。 提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
  論文  参考訳（メタデータ） (2022-04-23T01:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。