論文の概要: Adversarial Diffusion Compression for Real-World Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2411.13383v1
• Date: Wed, 20 Nov 2024 15:13:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:09:53.333072
• Title: Adversarial Diffusion Compression for Real-World Image Super-Resolution
• Title（参考訳）: 実世界の超解像に対する逆拡散圧縮
• Authors: Bin Chen, Gehui Li, Rongyuan Wu, Xindong Zhang, Jie Chen, Jian Zhang, Lei Zhang,
• Abstract要約: 現実世界の超解像は、複雑なプロセスによって劣化した低解像度の入力から高解像度の画像を再構成することを目的としている。 OSEDiffやS3Diffのような一段階拡散ネットワークはこの問題を緩和するが、それでも高い計算コストがかかる。 本稿では,一段階拡散ネットワークOSEDiffを流線形拡散GANモデルに蒸留することにより,新しいリアルISR法AdcSRを提案する。
• 参考スコア（独自算出の注目度）: 16.496532580598007
• License:
• Abstract: Real-world image super-resolution (Real-ISR) aims to reconstruct high-resolution images from low-resolution inputs degraded by complex, unknown processes. While many Stable Diffusion (SD)-based Real-ISR methods have achieved remarkable success, their slow, multi-step inference hinders practical deployment. Recent SD-based one-step networks like OSEDiff and S3Diff alleviate this issue but still incur high computational costs due to their reliance on large pretrained SD models. This paper proposes a novel Real-ISR method, AdcSR, by distilling the one-step diffusion network OSEDiff into a streamlined diffusion-GAN model under our Adversarial Diffusion Compression (ADC) framework. We meticulously examine the modules of OSEDiff, categorizing them into two types: (1) Removable (VAE encoder, prompt extractor, text encoder, etc.) and (2) Prunable (denoising UNet and VAE decoder). Since direct removal and pruning can degrade the model's generation capability, we pretrain our pruned VAE decoder to restore its ability to decode images and employ adversarial distillation to compensate for performance loss. This ADC-based diffusion-GAN hybrid design effectively reduces complexity by 73% in inference time, 78% in computation, and 74% in parameters, while preserving the model's generation capability. Experiments manifest that our proposed AdcSR achieves competitive recovery quality on both synthetic and real-world datasets, offering up to 9.3$\times$ speedup over previous one-step diffusion-based methods. Code and models will be made available.
• Abstract（参考訳）: 実世界の超解像(Real-ISR)は、複雑な未知のプロセスによって劣化した低解像度の入力から高解像度の画像を再構成することを目的としている。 多くの安定拡散(SD)ベースのReal-ISR法は顕著な成功を収めているが、その遅いマルチステップ推論は実用的な展開を妨げる。 最近のSDベースのワンステップネットワークであるOSEDiffやS3Diffは、この問題を緩和しているが、大きな事前訓練されたSDモデルに依存するため、依然として高い計算コストがかかる。 本稿では,Adversarial Diffusion Compression (ADC) の枠組みの下で,一段階拡散ネットワークOSEDiffを流線形拡散GANモデルに蒸留することにより,新しいReal-ISR法であるAdcSRを提案する。 我々はOSEDiffのモジュールを慎重に検討し、(1)Removable(VAEエンコーダ、プロンプト抽出器、テキストエンコーダなど)と(2)Prunable(UNetとVAEデコーダをデノベート)の2つのタイプに分類する。 直接除去およびプルーニングはモデル生成能力を劣化させる可能性があるため, 得られたVAEデコーダをプリトレーニングして, 画像の復号化と逆蒸留を用いて性能損失を補償する。 このADCベースの拡散GANハイブリッド設計は、モデル生成能力を保ちながら、推論時間で73%、計算で78%、パラメータで74%の複雑さを効果的に低減する。 実験によると、提案したAdcSRは、合成データセットと実世界のデータセットの両方で競争力のある回復品質を達成し、従来の1ステップ拡散ベースの手法よりも最大9.3$\times$のスピードアップを提供する。 コードとモデルは利用可能になる。

関連論文リスト

• One Diffusion Step to Real-World Super-Resolution via Flow Trajectory Distillation [60.54811860967658]
  FluxSRはフローマッチングモデルに基づく新しい一段階拡散リアルISRである。 まず,フロートラジェクトリ蒸留(FTD)を導入し,多段階のフローマッチングモデルを1段階のリアルISRに蒸留する。 第2に、画像リアリズムを改善し、生成画像の高周波アーティファクト問題に対処するために、テレビLPIPSを知覚的損失として提案する。
  論文  参考訳（メタデータ） (2025-02-04T04:11:29Z)
• RealOSR: Latent Unfolding Boosting Diffusion-based Real-world Omnidirectional Image Super-Resolution [11.290865218020386]
  RealOSRは、単一ステップ拡散デノゲーションを持つ現実世界のODISR(Real-ODISR)のための新しい拡散ベースのアプローチである。 RealOSRは、視覚的品質とtextbf200$times$推論アクセラレーションの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-12-11T06:23:14Z)
• TSD-SR: One-Step Diffusion with Target Score Distillation for Real-World Image Super-Resolution [25.994093587158808]
  事前訓練されたテキスト-画像拡散モデルが、現実の画像超解像(Real-ISR)タスクにますます応用されている。 拡散モデルの反復的洗練された性質を考えると、既存のアプローチのほとんどは計算的に高価である。 実世界の超高解像度画像に特化して設計された新しい蒸留フレームワークであるTLD-SRを提案する。
  論文  参考訳（メタデータ） (2024-11-27T12:01:08Z)
• ConsisSR: Delving Deep into Consistency in Diffusion-based Image Super-Resolution [28.945663118445037]
  実世界の超解像(Real-ISR)は、未知の複雑な劣化によって劣化した低品質(LQ)入力から高品質(HQ)イメージを復元することを目的としている。 セマンティックとピクセルレベルの整合性を扱うためにConsisSRを導入する。
  論文  参考訳（メタデータ） (2024-10-17T17:41:52Z)
• One-Step Effective Diffusion Network for Real-World Image Super-Resolution [11.326598938246558]
  本稿では,Real-ISR問題に対する1ステップの効果的な拡散ネットワーク,すなわちOSEDiffを提案する。 トレーニング可能な層で事前学習した拡散ネットワークを微調整し、複雑な画像劣化に適応する。 我々のOSEDiffモデルは1つの拡散ステップでHQイメージを効率よく効果的に生成できる。
  論文  参考訳（メタデータ） (2024-06-12T13:10:31Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• Invertible Diffusion Models for Compressed Sensing [22.293412255419614]
  Invertible Diffusion Models (IDM) は、効率的なエンドツーエンドの拡散に基づく圧縮センシング手法である。 当社のIDMは,PSNRにおいて既存のCSネットワークを最大2.64dB性能で上回っている。 最近の拡散型アプローチ DDNM と比較して、我々のIMM は最大 10.09dB PSNR ゲインと 14.54 倍高速な推論を実現している。
  論文  参考訳（メタデータ） (2024-03-25T17:59:41Z)
• Iterative Token Evaluation and Refinement for Real-World Super-Resolution [77.74289677520508]
  実世界の画像超解像(RWSR)は、低品質(LQ)画像が複雑で未同定の劣化を起こすため、長年にわたる問題である。 本稿では,RWSRのための反復的トークン評価・リファインメントフレームワークを提案する。 ITERはGAN(Generative Adversarial Networks)よりも訓練が容易であり,連続拡散モデルよりも効率的であることを示す。
  論文  参考訳（メタデータ） (2023-12-09T17:07:32Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Towards Lightweight Super-Resolution with Dual Regression Learning [58.98801753555746]
  深層ニューラルネットワークは、画像超解像(SR)タスクにおいて顕著な性能を示した。 SR問題は通常不適切な問題であり、既存の手法にはいくつかの制限がある。 本稿では、SRマッピングの可能な空間を削減するために、二重回帰学習方式を提案する。
  論文  参考訳（メタデータ） (2022-07-16T12:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。