論文の概要: Continual All-in-One Adverse Weather Removal with Knowledge Replay on a
Unified Network Structure
- arxiv url: http://arxiv.org/abs/2403.07292v1
- Date: Tue, 12 Mar 2024 03:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 23:06:01.576728
- Title: Continual All-in-One Adverse Weather Removal with Knowledge Replay on a
Unified Network Structure
- Title(参考訳): 統一ネットワーク構造上の知識再生による一対一逆気象の連続的除去
- Authors: De Cheng, Yanling Ji, Dong Gong, Yan Li, Nannan Wang, Junwei Han,
Dingwen Zhang
- Abstract要約: 現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。
我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。
連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
- 参考スコア(独自算出の注目度): 92.8834309803903
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In real-world applications, image degeneration caused by adverse weather is
always complex and changes with different weather conditions from days and
seasons. Systems in real-world environments constantly encounter adverse
weather conditions that are not previously observed. Therefore, it practically
requires adverse weather removal models to continually learn from incrementally
collected data reflecting various degeneration types. Existing adverse weather
removal approaches, for either single or multiple adverse weathers, are mainly
designed for a static learning paradigm, which assumes that the data of all
types of degenerations to handle can be finely collected at one time before a
single-phase learning process. They thus cannot directly handle the incremental
learning requirements. To address this issue, we made the earliest effort to
investigate the continual all-in-one adverse weather removal task, in a setting
closer to real-world applications. Specifically, we develop a novel continual
learning framework with effective knowledge replay (KR) on a unified network
structure. Equipped with a principal component projection and an effective
knowledge distillation mechanism, the proposed KR techniques are tailored for
the all-in-one weather removal task. It considers the characteristics of the
image restoration task with multiple degenerations in continual learning, and
the knowledge for different degenerations can be shared and accumulated in the
unified network structure. Extensive experimental results demonstrate the
effectiveness of the proposed method to deal with this challenging task, which
performs competitively to existing dedicated or joint training image
restoration methods. Our code is available at
https://github.com/xiaojihh/CL_all-in-one.
- Abstract(参考訳): 実世界のアプリケーションでは、悪天候による画像変性は常に複雑であり、日や季節によって異なる気象条件で変化する。
実世界の環境のシステムは、これまで観測されなかった悪天候に常に遭遇する。
そのため,様々な変性型を反映した漸進的に収集されたデータから継続的に学習するには,悪天候除去モデルが必要である。
既存の悪天候除去アプローチは、単一の悪天候と複数の悪天候の両方に対して、主に静的な学習パラダイムのために設計されており、単一のフェーズ学習プロセスの前に、すべての種類のデジェネレーションのデータを細かく収集できると仮定している。
したがって、インクリメンタルな学習要件を直接扱うことはできません。
この問題に対処するため,我々は,実世界のアプリケーションに近い環境で,悪天候除去タスクを継続的に調査する最初期の取り組みを行った。
具体的には,ネットワーク構造を統一した,効果的な知識リプレイ(kr)を用いた新しい連続学習フレームワークを開発した。
主成分投射と効果的な知識蒸留機構を備え, 提案手法はオールインワン気象除去作業に適合する。
連続学習における複数の退化を伴う画像復元作業の特徴を考察し,ネットワーク構造に異なる退化に関する知識を共有・蓄積することが可能である。
この課題に対処するために提案手法の有効性を実証し,既存の専用または共同の訓練画像復元法と競合する実験を行った。
私たちのコードはhttps://github.com/xiaojihh/cl_all-in-oneで利用可能です。
関連論文リスト
- Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for
Video Adverse Weather Removal [53.15046196592023]
ビデオの悪天候除去におけるテスト時間適応について紹介する。
本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-12T14:21:30Z) - Decoupling Degradation and Content Processing for Adverse Weather Image
Restoration [79.59228846484415]
逆の気象画像復元は、雨、干し草、雪などの様々な気象の影響を受ける人々から、鮮明なイメージを復元する試みである。
従来の手法では、1つのネットワーク内で複数の気象タイプを処理できるが、これら2つのプロセス間の決定的な区別を無視し、復元された画像の品質を制限している。
本研究は,DDCNetと呼ばれる新しい悪天候画像復元手法を導入し,チャネル統計に基づく特徴レベルの劣化除去とコンテンツ復元を分離する。
論文 参考訳(メタデータ) (2023-12-08T12:26:38Z) - Language-driven All-in-one Adverse Weather Removal [11.47695460133523]
All-in-one (AiO)フレームワークは、1組のネットワークで様々な悪天候の悪化を修復する。
既存の方法は、通常現実世界のアプリケーションでは知られていない余分な監視信号に依存している。
上記の問題を緩和するLDR(Language-driven Restoration framework)を提案する。
論文 参考訳(メタデータ) (2023-12-03T13:05:54Z) - Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。
Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。
公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
論文 参考訳(メタデータ) (2023-11-28T03:11:33Z) - WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth
Estimation under Adverse Weather Conditions [45.15128258200185]
カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。
提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
論文 参考訳(メタデータ) (2023-10-09T09:26:27Z) - MetaWeather: Few-Shot Weather-Degraded Image Restoration [17.63266150036311]
メタウェザー(MetaWeather)は、多様な新しい気象条件を単一の統一モデルで処理できる普遍的なアプローチである。
提案手法は,未確認の気象条件に適応し,最先端のマルチウェザー画像復元法よりも優れることを示す。
論文 参考訳(メタデータ) (2023-08-28T06:25:40Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳(メタデータ) (2023-06-15T10:06:13Z) - Unsupervised Restoration of Weather-affected Images using Deep Gaussian
Process-based CycleGAN [92.15895515035795]
本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。
我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。
提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
論文 参考訳(メタデータ) (2022-04-23T01:30:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。