論文の概要: RDEIC: Accelerating Diffusion-Based Extreme Image Compression with Relay Residual Diffusion
- arxiv url: http://arxiv.org/abs/2410.02640v2
- Date: Sat, 25 Jan 2025 07:07:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:50:42.061414
- Title: RDEIC: Accelerating Diffusion-Based Extreme Image Compression with Relay Residual Diffusion
- Title(参考訳): RDEIC: Relay Residual Diffusionによる拡散に基づく極端画像圧縮の高速化
- Authors: Zhiyuan Li, Yanhui Zhou, Hao Wei, Chenyang Ge, Ajmal Mian,
- Abstract要約: Relay Residual Diffusion Extreme Image Compression (RDEIC)を提案する。
まず, 純雑音ではなく, 付加雑音を付加した画像の圧縮潜時特徴を出発点として, 復調過程の不要な初期段階を除去する。
RDEICは、最先端の視覚的品質を実現し、既存の拡散に基づく極端画像圧縮手法よりも忠実さと効率性が優れている。
- 参考スコア(独自算出の注目度): 29.277211609920155
- License:
- Abstract: Diffusion-based extreme image compression methods have achieved impressive performance at extremely low bitrates. However, constrained by the iterative denoising process that starts from pure noise, these methods are limited in both fidelity and efficiency. To address these two issues, we present Relay Residual Diffusion Extreme Image Compression (RDEIC), which leverages compressed feature initialization and residual diffusion. Specifically, we first use the compressed latent features of the image with added noise, instead of pure noise, as the starting point to eliminate the unnecessary initial stages of the denoising process. Second, we directly derive a novel residual diffusion equation from Stable Diffusion's original diffusion equation that reconstructs the raw image by iteratively removing the added noise and the residual between the compressed and target latent features. In this way, we effectively combine the efficiency of residual diffusion with the powerful generative capability of Stable Diffusion. Third, we propose a fixed-step fine-tuning strategy to eliminate the discrepancy between the training and inference phases, thereby further improving the reconstruction quality. Extensive experiments demonstrate that the proposed RDEIC achieves state-of-the-art visual quality and outperforms existing diffusion-based extreme image compression methods in both fidelity and efficiency. The source code will be provided in https://github.com/huai-chang/RDEIC.
- Abstract(参考訳): 拡散に基づく極端画像圧縮法は、極低ビットレートで優れた性能を達成している。
しかし、純粋な雑音から始まる反復的復調過程に制約され、これらの手法は忠実さと効率の両方で制限される。
本稿では,Relay Residual Diffusion Extreme Image Compression (RDEIC)を提案する。
具体的には、まず、純雑音ではなく、付加雑音を付加した画像の圧縮潜時特徴を出発点として、デノナイジング過程の不要な初期段階を除去する。
第二に、安定拡散の原拡散方程式から新しい残留拡散方程式を導出し、加えられた雑音と圧縮された潜在特徴と対象の潜在特徴の間の残差を反復的に除去して原像を再構成する。
このようにして、残留拡散の効率と安定拡散の強力な生成能力を効果的に組み合わせる。
第3に,トレーニングフェーズと推論フェーズの相違を解消し,再現性の向上を図るための固定ステップ微調整戦略を提案する。
広汎な実験により、提案手法は最先端の視覚的品質を実現し、既存の拡散に基づく極端画像圧縮手法よりも忠実度と効率性が優れていることが示された。
ソースコードはhttps://github.com/huai-chang/RDEICで提供される。
関連論文リスト
- One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。
OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳(メタデータ) (2024-08-17T09:51:42Z) - High Frequency Matters: Uncertainty Guided Image Compression with Wavelet Diffusion [35.168244436206685]
ウェーブレット拡散(UGDiff)を用いた不確実性誘導画像圧縮手法を提案する。
本稿では,ウェーブレット変換による高周波圧縮に着目した。
2つのベンチマークデータセットに関する総合的な実験は、UGDiffの有効性を検証する。
論文 参考訳(メタデータ) (2024-07-17T13:21:31Z) - Diffusion-Aided Joint Source Channel Coding For High Realism Wireless Image Transmission [24.372996233209854]
DiffJSCCは条件拡散復調法により高現実性画像を生成する新しいフレームワークである。
768x512ピクセルのコダック画像を3072のシンボルで再現できる。
論文 参考訳(メタデータ) (2024-04-27T00:12:13Z) - Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
論文 参考訳(メタデータ) (2024-03-12T05:06:07Z) - Resfusion: Denoising Diffusion Probabilistic Models for Image Restoration Based on Prior Residual Noise [34.65659277870287]
微分拡散モデルの研究は、画像復元の分野への応用を拡大した。
本稿では,残余項を拡散前進過程に組み込むフレームワークであるResfusionを提案する。
Resfusionは, ISTDデータセット, LOLデータセット, Raindropデータセットに対して, わずか5つのサンプリングステップで競合性能を示すことを示す。
論文 参考訳(メタデータ) (2023-11-25T02:09:38Z) - Residual Denoising Diffusion Models [12.698791701225499]
本稿では,従来の単音化拡散過程を残差拡散と雑音拡散に分解する新しい二重拡散過程を提案する。
この二重拡散フレームワークは、デノナイジングに基づく拡散モデルを拡張し、画像生成と復元の両方のための統一的で解釈可能なモデルへと拡張する。
革新的なフレームワークのさらなる探索、応用、開発を促進するために、コードと事前訓練されたモデルを提供しています。
論文 参考訳(メタデータ) (2023-08-25T23:54:15Z) - Learning A Coarse-to-Fine Diffusion Transformer for Image Restoration [39.071637725773314]
画像復元のための粗大な拡散変換器(C2F-DFT)を提案する。
C2F-DFTは拡散自己注意(DFSA)と拡散フィードフォワードネットワーク(DFN)を含んでいる
粗い訓練段階において,我々のC2F-DFTはノイズを推定し,サンプリングアルゴリズムにより最終クリーン画像を生成する。
論文 参考訳(メタデータ) (2023-08-17T01:59:59Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z) - Denoising Diffusion Models for Plug-and-Play Image Restoration [135.6359475784627]
本稿では,従来のプラグアンドプレイ方式を拡散サンプリングフレームワークに統合したDiffPIRを提案する。
DiffPIRは、差別的なガウスのデノイザーに依存するプラグアンドプレイIR法と比較して、拡散モデルの生成能力を継承することが期待されている。
論文 参考訳(メタデータ) (2023-05-15T20:24:38Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳(メタデータ) (2023-03-13T06:05:18Z) - Blur, Noise, and Compression Robust Generative Adversarial Networks [85.68632778835253]
劣化画像から直接クリーンな画像生成装置を学習するために, ぼかし, ノイズ, 圧縮堅牢なGAN(BNCR-GAN)を提案する。
NR-GANにインスパイアされたBNCR-GANは、画像、ぼやけたカーネル、ノイズ、品質要素ジェネレータで構成される多重ジェネレータモデルを使用する。
CIFAR-10の大規模比較とFFHQの一般性解析によるBNCR-GANの有効性を実証する。
論文 参考訳(メタデータ) (2020-03-17T17:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。