論文の概要: Efficient Diffusion Model for Image Restoration by Residual Shifting
- arxiv url: http://arxiv.org/abs/2403.07319v1
- Date: Tue, 12 Mar 2024 05:06:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:54:32.005023
- Title: Efficient Diffusion Model for Image Restoration by Residual Shifting
- Title(参考訳): 残留シフトによる画像復元のための効率的な拡散モデル
- Authors: Zongsheng Yue, Jianyi Wang, and Chen Change Loy
- Abstract要約: 本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
- 参考スコア(独自算出の注目度): 63.02725947015132
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While diffusion-based image restoration (IR) methods have achieved remarkable
success, they are still limited by the low inference speed attributed to the
necessity of executing hundreds or even thousands of sampling steps. Existing
acceleration sampling techniques, though seeking to expedite the process,
inevitably sacrifice performance to some extent, resulting in over-blurry
restored outcomes. To address this issue, this study proposes a novel and
efficient diffusion model for IR that significantly reduces the required number
of diffusion steps. Our method avoids the need for post-acceleration during
inference, thereby avoiding the associated performance deterioration.
Specifically, our proposed method establishes a Markov chain that facilitates
the transitions between the high-quality and low-quality images by shifting
their residuals, substantially improving the transition efficiency. A carefully
formulated noise schedule is devised to flexibly control the shifting speed and
the noise strength during the diffusion process. Extensive experimental
evaluations demonstrate that the proposed method achieves superior or
comparable performance to current state-of-the-art methods on three classical
IR tasks, namely image super-resolution, image inpainting, and blind face
restoration, \textit{\textbf{even only with four sampling steps}}. Our code and
model are publicly available at \url{https://github.com/zsyOAOA/ResShift}.
- Abstract(参考訳): diffusion-based image restoration (ir) 法は大きな成功を収めているが、数百または数千のサンプリングステップを実行する必要性から、低い推論速度で制限されている。
既存の加速サンプリング技術は、プロセスの迅速化を図りながら、パフォーマンスをある程度犠牲にし、結果として過度に回復する結果となった。
この問題に対処するため,本研究では,必要な拡散ステップ数を大幅に削減する,新しい,効率的なIR拡散モデルを提案する。
提案手法は,推論中の後加速度を回避し,関連する性能劣化を回避する。
具体的には,残差をシフトさせることにより高品質画像と低品質画像の遷移を容易にし,遷移効率を大幅に向上するマルコフ連鎖を確立する。
拡散過程におけるシフト速度とノイズ強度を柔軟に制御するために、慎重に定式化されたノイズスケジュールを考案する。
広汎な実験的評価により,提案手法は従来の3つのIRタスク,すなわち画像の超解像,画像のインペインティング,ブラインドフェイスの復元,および4つのサンプリングステップのみで,現在の最先端手法よりも優れた性能を達成できることが示された。
私たちのコードとモデルは、 \url{https://github.com/zsyOAOA/ResShift}で公開されています。
関連論文リスト
- Implicit Image-to-Image Schrodinger Bridge for CT Super-Resolution and
Denoising [13.529438499545408]
Image-to-Image Schr"odinger Bridge (I2SB)は、破損した画像から生成過程を初期化する。
Inlicit Image-to-Image Schrodinger Bridge (I3SB)を導入し,その生成過程を非マルコフ過程に変換する。
この強化により、I3SBは、少数の生成ステップを使用して、より優れたテクスチャ復元の画像を生成することができる。
論文 参考訳(メタデータ) (2024-03-10T03:22:57Z) - SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-11-23T16:21:29Z) - ResShift: Efficient Diffusion Model for Image Super-resolution by
Residual Shifting [70.83632337581034]
拡散に基づく画像超解像法(SR)は主に低推論速度によって制限される。
本稿では,SRの拡散段数を大幅に削減する新しい,効率的な拡散モデルを提案する。
本手法は,残差をシフトすることで高分解能画像と低分解能画像の間を移動させるマルコフ連鎖を構成する。
論文 参考訳(メタデータ) (2023-07-23T15:10:02Z) - ACDMSR: Accelerated Conditional Diffusion Models for Single Image
Super-Resolution [84.73658185158222]
本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。
提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。
提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
論文 参考訳(メタデータ) (2023-07-03T06:49:04Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z) - Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models
for Inverse Problems through Stochastic Contraction [31.61199061999173]
拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。
ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。
ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
論文 参考訳(メタデータ) (2021-12-09T04:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。