Fugu-MT 論文翻訳(概要): Data-free Distillation with Degradation-prompt Diffusion for Multi-weather Image Restoration

論文の概要: Data-free Distillation with Degradation-prompt Diffusion for Multi-weather Image Restoration

arxiv url: http://arxiv.org/abs/2409.03455v1
Date: Thu, 5 Sep 2024 12:07:17 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 20:50:03.344444
Title: Data-free Distillation with Degradation-prompt Diffusion for Multi-weather Image Restoration
Title（参考訳）: マルチウェザー画像復元のための劣化プロンプト拡散を伴うデータフリー蒸留
Authors: Pei Wang, Xiaotong Luo, Yuan Xie, Yanyun Qu,
Abstract要約: マルチウェザー画像復元のための劣化促進拡散フレームワーク(D4IR)を提案する。モデル崩壊を避けるために、GANを事前訓練された拡散モデルに置き換え、劣化認識プロンプトアダプタを組み込む。提案手法は,元のトレーニングデータで蒸留したモデルに匹敵する性能を示し,他の主流の教師なし手法よりも優れている。
参考スコア（独自算出の注目度）: 29.731089599252954
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-weather image restoration has witnessed incredible progress, while the increasing model capacity and expensive data acquisition impair its applications in memory-limited devices. Data-free distillation provides an alternative for allowing to learn a lightweight student model from a pre-trained teacher model without relying on the original training data. The existing data-free learning methods mainly optimize the models with the pseudo data generated by GANs or the real data collected from the Internet. However, they inevitably suffer from the problems of unstable training or domain shifts with the original data. In this paper, we propose a novel Data-free Distillation with Degradation-prompt Diffusion framework for multi-weather Image Restoration (D4IR). It replaces GANs with pre-trained diffusion models to avoid model collapse and incorporates a degradation-aware prompt adapter to facilitate content-driven conditional diffusion for generating domain-related images. Specifically, a contrast-based degradation prompt adapter is firstly designed to capture degradation-aware prompts from web-collected degraded images. Then, the collected unpaired clean images are perturbed to latent features of stable diffusion, and conditioned with the degradation-aware prompts to synthesize new domain-related degraded images for knowledge distillation. Experiments illustrate that our proposal achieves comparable performance to the model distilled with original training data, and is even superior to other mainstream unsupervised methods.
Abstract（参考訳）: マルチウェザー画像復元は驚くべき進歩を遂げ、モデル容量の増大と高価なデータ取得は、メモリ制限されたデバイスでの応用を妨げている。データフリー蒸留は、オリジナルのトレーニングデータに頼ることなく、訓練済みの教師モデルから軽量の学生モデルを学習するための代替手段を提供する。既存のデータフリー学習手法は、主にGANが生成した擬似データやインターネットから収集した実データを用いてモデルを最適化する。しかし、それらは必然的に、不安定なトレーニングや、元のデータによるドメインシフトの問題に悩まされる。本稿では,マルチウェザー画像復元(D4IR)のための劣化促進拡散フレームワークを新たに提案する。モデル崩壊を避けるために、GANを事前訓練された拡散モデルに置き換え、ドメイン関連画像を生成するためのコンテンツ駆動条件拡散を容易にする劣化対応プロンプトアダプタを組み込む。特に、コントラストベースの劣化プロンプトアダプタは、Webで収集した劣化画像から劣化認識プロンプトをキャプチャするように設計されている。そして、収集した未ペア画像は、安定拡散の潜伏特性に摂動し、劣化認識プロンプトで条件付きで、新しいドメイン関連劣化画像を合成し、知識蒸留を行う。実験により,本提案手法は元のトレーニングデータで蒸留したモデルに匹敵する性能を示し,他の主流の教師なし手法よりも優れていることが示された。

関連論文リスト

FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
論文参考訳（メタデータ） (2024-12-02T12:08:40Z)
GenDeg: Diffusion-Based Degradation Synthesis for Generalizable All-in-One Image Restoration [26.434359848151978]
我々は,クリーンな画像上で多様な劣化パターンを生成できる条件拡散モデルGenDegを紹介する。我々は,550万点以上の試料を,ヘイズ,雨,雪,動きのぼやけ,低照度,雨滴の6種類に分けて合成した。実験の結果,GenDSデータセットでトレーニングした画像復元モデルは,アウト・オブ・ディストリビューション性能の大幅な向上を示した。
論文参考訳（メタデータ） (2024-11-26T18:55:49Z)
Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
論文参考訳（メタデータ） (2024-10-06T20:38:14Z)
One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
論文参考訳（メタデータ） (2024-08-14T11:47:22Z)
Integrating Amortized Inference with Diffusion Models for Learning Clean Distribution from Corrupted Images [19.957503854446735]
拡散モデル(DM)は、逆問題を解決するための強力な生成モデルとして登場した。 FlowDiffは条件付き正規化フローモデルを利用して、破損したデータソース上で拡散モデルのトレーニングを容易にする共同トレーニングパラダイムである。実験の結果,FlowDiffは広範囲の破損したデータソースにわたるクリーンな分布を効果的に学習できることがわかった。
論文参考訳（メタデータ） (2024-07-15T18:33:20Z)
Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
論文参考訳（メタデータ） (2024-07-04T05:01:10Z)
DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文参考訳（メタデータ） (2024-03-20T04:58:03Z)
LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement [118.83316133601319]
現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
論文参考訳（メタデータ） (2023-07-27T07:22:51Z)
BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-06-08T20:30:55Z)
DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文参考訳（メタデータ） (2023-03-13T06:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。