論文の概要: Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure

• arxiv url: http://arxiv.org/abs/2403.07292v1
• Date: Tue, 12 Mar 2024 03:50:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 23:06:01.576728
• Title: Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure
• Title（参考訳）: 統一ネットワーク構造上の知識再生による一対一逆気象の連続的除去
• Authors: De Cheng, Yanling Ji, Dong Gong, Yan Li, Nannan Wang, Junwei Han, Dingwen Zhang
• Abstract要約: 現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。 我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。 連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
• 参考スコア（独自算出の注目度）: 92.8834309803903
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In real-world applications, image degeneration caused by adverse weather is always complex and changes with different weather conditions from days and seasons. Systems in real-world environments constantly encounter adverse weather conditions that are not previously observed. Therefore, it practically requires adverse weather removal models to continually learn from incrementally collected data reflecting various degeneration types. Existing adverse weather removal approaches, for either single or multiple adverse weathers, are mainly designed for a static learning paradigm, which assumes that the data of all types of degenerations to handle can be finely collected at one time before a single-phase learning process. They thus cannot directly handle the incremental learning requirements. To address this issue, we made the earliest effort to investigate the continual all-in-one adverse weather removal task, in a setting closer to real-world applications. Specifically, we develop a novel continual learning framework with effective knowledge replay (KR) on a unified network structure. Equipped with a principal component projection and an effective knowledge distillation mechanism, the proposed KR techniques are tailored for the all-in-one weather removal task. It considers the characteristics of the image restoration task with multiple degenerations in continual learning, and the knowledge for different degenerations can be shared and accumulated in the unified network structure. Extensive experimental results demonstrate the effectiveness of the proposed method to deal with this challenging task, which performs competitively to existing dedicated or joint training image restoration methods. Our code is available at https://github.com/xiaojihh/CL_all-in-one.
• Abstract（参考訳）: 実世界のアプリケーションでは、悪天候による画像変性は常に複雑であり、日や季節によって異なる気象条件で変化する。 実世界の環境のシステムは、これまで観測されなかった悪天候に常に遭遇する。 そのため,様々な変性型を反映した漸進的に収集されたデータから継続的に学習するには,悪天候除去モデルが必要である。 既存の悪天候除去アプローチは、単一の悪天候と複数の悪天候の両方に対して、主に静的な学習パラダイムのために設計されており、単一のフェーズ学習プロセスの前に、すべての種類のデジェネレーションのデータを細かく収集できると仮定している。 したがって、インクリメンタルな学習要件を直接扱うことはできません。 この問題に対処するため,我々は,実世界のアプリケーションに近い環境で,悪天候除去タスクを継続的に調査する最初期の取り組みを行った。 具体的には,ネットワーク構造を統一した,効果的な知識リプレイ(kr)を用いた新しい連続学習フレームワークを開発した。 主成分投射と効果的な知識蒸留機構を備え, 提案手法はオールインワン気象除去作業に適合する。 連続学習における複数の退化を伴う画像復元作業の特徴を考察し,ネットワーク構造に異なる退化に関する知識を共有・蓄積することが可能である。 この課題に対処するために提案手法の有効性を実証し,既存の専用または共同の訓練画像復元法と競合する実験を行った。 私たちのコードはhttps://github.com/xiaojihh/cl_all-in-oneで利用可能です。

関連論文リスト

• WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
  第1次一般気象基礎モデル(WeatherGFM)を紹介する。 気象理解タスクの幅広い範囲を統一的な方法で解決する。 我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
  論文  参考訳（メタデータ） (2024-11-08T09:14:19Z)
• Teaching Tailored to Talent: Adverse Weather Restoration via Prompt Pool and Depth-Anything Constraint [15.733168323227174]
  予測不能な気象入力を処理するために,新しいパイプラインT3-DiffWeatherを導入する。 我々は、サブプロンプトを自律的に組み合わせて天気予報を構築するプロンプトプールを採用している。 提案手法は,様々な合成および実世界のデータセットにまたがって最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-24T04:46:18Z)
• Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal [53.15046196592023]
  ビデオの悪天候除去におけるテスト時間適応について紹介する。 本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:21:30Z)
• Language-driven All-in-one Adverse Weather Removal [11.47695460133523]
  All-in-one (AiO)フレームワークは、1組のネットワークで様々な悪天候の悪化を修復する。 既存の方法は、通常現実世界のアプリケーションでは知られていない余分な監視信号に依存している。 上記の問題を緩和するLDR(Language-driven Restoration framework)を提案する。
  論文  参考訳（メタデータ） (2023-12-03T13:05:54Z)
• Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
  台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。 Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。 公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-28T03:11:33Z)
• MetaWeather: Few-Shot Weather-Degraded Image Restoration [17.63266150036311]
  メタウェザー(MetaWeather)は、多様な新しい気象条件を単一の統一モデルで処理できる普遍的なアプローチである。 メタウェザーは未確認の気象条件に適応でき、最先端のマルチウェザー画像復元法よりも優れることを示す。
  論文  参考訳（メタデータ） (2023-08-28T06:25:40Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• Unsupervised Restoration of Weather-affected Images using Deep Gaussian Process-based CycleGAN [92.15895515035795]
  本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。 我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。 提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
  論文  参考訳（メタデータ） (2022-04-23T01:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。