論文の概要: SinSR: Diffusion-Based Image Super-Resolution in a Single Step
- arxiv url: http://arxiv.org/abs/2311.14760v1
- Date: Thu, 23 Nov 2023 16:21:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 09:35:43.054026
- Title: SinSR: Diffusion-Based Image Super-Resolution in a Single Step
- Title(参考訳): SinSR:1ステップで拡散に基づく超解像
- Authors: Yufei Wang, Wenhan Yang, Xinyuan Chen, Yaohui Wang, Lanqing Guo,
Lap-Pui Chau, Ziwei Liu, Yu Qiao, Alex C. Kot, Bihan Wen
- Abstract要約: 拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
- 参考スコア(独自算出の注目度): 119.18813219518042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While super-resolution (SR) methods based on diffusion models exhibit
promising results, their practical application is hindered by the substantial
number of required inference steps. Recent methods utilize degraded images in
the initial state, thereby shortening the Markov chain. Nevertheless, these
solutions either rely on a precise formulation of the degradation process or
still necessitate a relatively lengthy generation path (e.g., 15 iterations).
To enhance inference speed, we propose a simple yet effective method for
achieving single-step SR generation, named SinSR. Specifically, we first derive
a deterministic sampling process from the most recent state-of-the-art (SOTA)
method for accelerating diffusion-based SR. This allows the mapping between the
input random noise and the generated high-resolution image to be obtained in a
reduced and acceptable number of inference steps during training. We show that
this deterministic mapping can be distilled into a student model that performs
SR within only one inference step. Additionally, we propose a novel
consistency-preserving loss to simultaneously leverage the ground-truth image
during the distillation process, ensuring that the performance of the student
model is not solely bound by the feature manifold of the teacher model,
resulting in further performance improvement. Extensive experiments conducted
on synthetic and real-world datasets demonstrate that the proposed method can
achieve comparable or even superior performance compared to both previous SOTA
methods and the teacher model, in just one sampling step, resulting in a
remarkable up to x10 speedup for inference. Our code will be released at
https://github.com/wyf0912/SinSR
- Abstract(参考訳): 拡散モデルに基づく超解像(SR)法は有望な結果を示すが、その実用性は相当な数の推論ステップによって妨げられる。
最近の方法では初期状態での劣化画像を利用してマルコフ連鎖を短縮する。
しかしながら、これらの解は分解過程の正確な定式化に依存するか、あるいは比較的長い生成経路(例えば15回)を必要とする。
推論速度を向上させるため,SinSRと呼ばれる単一ステップのSR生成を実現するための簡易かつ効果的な手法を提案する。
具体的には、拡散型SRを高速化する最新のSOTA法から、まず決定論的サンプリング過程を導出する。
これにより、入力されたランダムノイズと生成された高解像度画像とのマッピングが、トレーニング中の推論ステップの削減および許容される数で得られる。
この決定論的マッピングを1つの推論ステップでsrを実行する学生モデルに蒸留できることを示す。
さらに, 蒸留プロセスにおいて, 地上構造画像を同時に活用する新たな一貫性保存損失を提案し, 生徒モデルの性能が教師モデルの特徴多様体にのみ束縛されることを保証し, さらなる性能向上をもたらす。
合成および実世界のデータセットを用いた大規模な実験により,提案手法は従来のSOTA法と教師モデルに比較して,1つのサンプリングステップで同等あるいはそれ以上の性能を達成できることが実証された。
私たちのコードはhttps://github.com/wyf0912/SinSRでリリースされます。
関連論文リスト
- Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
論文 参考訳(メタデータ) (2024-03-12T05:06:07Z) - You Only Need One Step: Fast Super-Resolution with Stable Diffusion via
Scale Distillation [42.599077240711]
YONOS-SRは、画像超解像に対する安定拡散に基づくアプローチであり、単一のDDIMステップのみを用いて最先端の結果を得る。
SRモデルの学習のための新しいスケール蒸留手法を提案する。
論文 参考訳(メタデータ) (2024-01-30T18:49:44Z) - ResShift: Efficient Diffusion Model for Image Super-resolution by
Residual Shifting [70.83632337581034]
拡散に基づく画像超解像法(SR)は主に低推論速度によって制限される。
本稿では,SRの拡散段数を大幅に削減する新しい,効率的な拡散モデルを提案する。
本手法は,残差をシフトすることで高分解能画像と低分解能画像の間を移動させるマルコフ連鎖を構成する。
論文 参考訳(メタデータ) (2023-07-23T15:10:02Z) - ACDMSR: Accelerated Conditional Diffusion Models for Single Image
Super-Resolution [84.73658185158222]
本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。
提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。
提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
論文 参考訳(メタデータ) (2023-07-03T06:49:04Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Solving Diffusion ODEs with Optimal Boundary Conditions for Better Image
Super-Resolution [88.51204784850272]
拡散モデルのランダム性は非効率性と不安定性をもたらすため、SR結果の品質を保証することは困難である。
本稿では,一連の拡散型SR手法の恩恵を受ける可能性を持つプラグアンドプレイサンプリング手法を提案する。
提案手法によりサンプリングされたSR結果の質は, 学習前の拡散ベースSRモデルと同一のランダム性を有する現在の手法でサンプリングされた結果の質より優れる。
論文 参考訳(メタデータ) (2023-05-24T17:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。