論文の概要: All-in-one Weather-degraded Image Restoration via Adaptive Degradation-aware Self-prompting Model

• arxiv url: http://arxiv.org/abs/2411.07445v1
• Date: Tue, 12 Nov 2024 00:07:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:21:28.353941
• Title: All-in-one Weather-degraded Image Restoration via Adaptive Degradation-aware Self-prompting Model
• Title（参考訳）: 適応型劣化認識自己プロンプティングモデルによるオールインワン気象劣化画像復元
• Authors: Yuanbo Wen, Tao Gao, Ziqi Li, Jing Zhang, Kaihao Zhang, Ting Chen,
• Abstract要約: オールインワンの気象劣化画像復元のための既存のアプローチは、劣化認識の事前利用における非効率性に悩まされている。 我々は、オールインワンの気象劣化画像復元のための適応型劣化認識自己プロンプトモデル(ADSM)を開発した。
• 参考スコア（独自算出の注目度）: 23.940339806402882
• License:
• Abstract: Existing approaches for all-in-one weather-degraded image restoration suffer from inefficiencies in leveraging degradation-aware priors, resulting in sub-optimal performance in adapting to different weather conditions. To this end, we develop an adaptive degradation-aware self-prompting model (ADSM) for all-in-one weather-degraded image restoration. Specifically, our model employs the contrastive language-image pre-training model (CLIP) to facilitate the training of our proposed latent prompt generators (LPGs), which represent three types of latent prompts to characterize the degradation type, degradation property and image caption. Moreover, we integrate the acquired degradation-aware prompts into the time embedding of diffusion model to improve degradation perception. Meanwhile, we employ the latent caption prompt to guide the reverse sampling process using the cross-attention mechanism, thereby guiding the accurate image reconstruction. Furthermore, to accelerate the reverse sampling procedure of diffusion model and address the limitations of frequency perception, we introduce a wavelet-oriented noise estimating network (WNE-Net). Extensive experiments conducted on eight publicly available datasets demonstrate the effectiveness of our proposed approach in both task-specific and all-in-one applications.
• Abstract（参考訳）: 既存のオールインワンの気象劣化画像復元手法は、劣化を意識した事前処理の非効率性に悩まされ、異なる気象条件に適応する際の準最適性能をもたらす。 そこで我々は,オールインワンの気象劣化画像復元のための適応型劣化認識自己プロンプトモデル (ADSM) を開発した。 具体的には, 言語画像事前学習モデル (CLIP) を用いて, 劣化タイプ, 劣化特性, 画像キャプションを特徴付ける3種類の潜伏プロンプト生成器 (LPG) の訓練を容易にする。 さらに、得られた劣化認識プロンプトを拡散モデルの時間埋め込みに統合し、劣化知覚を改善する。 一方,提案手法では,クロスアテンション機構を用いた逆サンプリングプロセスの導出に潜時キャプションプロンプトを用い,正確な画像再構成を導出する。 さらに,拡散モデルの逆サンプリングを高速化し,周波数知覚の限界に対処するために,ウェーブレット指向雑音推定ネットワーク(WNE-Net)を導入する。 8つの公開データセットで実施された大規模な実験は、タスク固有のアプリケーションとオールインワンアプリケーションの両方において提案手法の有効性を示す。

関連論文リスト

• InstantIR: Blind Image Restoration with Instant Generative Reference [10.703499573064537]
  本稿では,新しい拡散型BIR法であるInstant-Reference Image Restoration(InstantIR)を紹介する。 まず、事前学習された視覚エンコーダを介して入力のコンパクトな表現を抽出する。 各生成ステップにおいて、この表現は、電流拡散潜時をデコードし、生成前でインスタンス化する。 劣化した画像をこの参照で符号化し、堅牢な生成条件を提供する。
  論文  参考訳（メタデータ） (2024-10-09T05:15:29Z)
• Taming Generative Diffusion Prior for Universal Blind Image Restoration [4.106012295148947]
  BIR-Dはマルチ誘導ブラインド画像復元を実現することができる。 また、複数の複雑な分解を行うイメージを復元し、実用的な応用を実証することができる。
  論文  参考訳（メタデータ） (2024-08-21T02:19:54Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation [99.57024606542416]
  周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。 我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。 提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
  論文  参考訳（メタデータ） (2024-03-21T17:58:14Z)
• ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
  本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。 我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-03-21T17:52:08Z)
• Generalizing to Out-of-Sample Degradations via Model Reprogramming [29.56470202794348]
  アウト・オブ・サンプル修復(OSR)タスクは、アウト・オブ・サンプル劣化を処理可能な復元モデルを開発することを目的としている。 本稿では,量子力学と波動関数によるサンプル外劣化を変換するモデル再プログラミングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T11:56:26Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction [62.955327005837475]
  画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。 SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
  論文  参考訳（メタデータ） (2023-10-29T13:58:57Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Restoring Vision in Adverse Weather Conditions with Patch-Based Denoising Diffusion Models [8.122270502556374]
  本稿では,拡散確率モデルに基づく新しいパッチベースの画像復元アルゴリズムを提案する。 我々は,気象特性とマルチウェザー画像復元の両面において,最先端の性能を実現するためのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-07-29T11:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。