論文の概要: Diffusion Sampling with Momentum for Mitigating Divergence Artifacts
- arxiv url: http://arxiv.org/abs/2307.11118v1
- Date: Thu, 20 Jul 2023 14:37:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 14:50:42.073383
- Title: Diffusion Sampling with Momentum for Mitigating Divergence Artifacts
- Title（参考訳）: 発散物除去のための運動量を用いた拡散サンプリング
- Authors: Suttisak Wizadwongsa, Worameth Chinchuthakun, Pramook Khungurn, Amit
Raj, Supasorn Suwajanakorn
- Abstract要約: 本研究では, 分散アーティファクトの潜在的な原因について検討し, 数値的手法の小さな安定性領域が主な原因である可能性が示唆された。
第1のテクニックは、最適化を改善するためのよく知られたテクニックであるヘビーボール運動量(HB)を、既存の拡散数値法に組み入れて安定性領域を広げることである。
第2のテクニックは、GHVB(Generalized Heavy Ball)と呼ばれ、精度とアーティファクトの抑制のトレードオフを提供する新しい高階法を構築する。
- 参考スコア（独自算出の注目度）: 10.181486597424486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the remarkable success of diffusion models in image generation, slow
sampling remains a persistent issue. To accelerate the sampling process, prior
studies have reformulated diffusion sampling as an ODE/SDE and introduced
higher-order numerical methods. However, these methods often produce divergence
artifacts, especially with a low number of sampling steps, which limits the
achievable acceleration. In this paper, we investigate the potential causes of
these artifacts and suggest that the small stability regions of these methods
could be the principal cause. To address this issue, we propose two novel
techniques. The first technique involves the incorporation of Heavy Ball (HB)
momentum, a well-known technique for improving optimization, into existing
diffusion numerical methods to expand their stability regions. We also prove
that the resulting methods have first-order convergence. The second technique,
called Generalized Heavy Ball (GHVB), constructs a new high-order method that
offers a variable trade-off between accuracy and artifact suppression.
Experimental results show that our techniques are highly effective in reducing
artifacts and improving image quality, surpassing state-of-the-art diffusion
solvers on both pixel-based and latent-based diffusion models for low-step
sampling. Our research provides novel insights into the design of numerical
methods for future diffusion work.
- Abstract（参考訳）: 画像生成における拡散モデルの顕著な成功にもかかわらず、遅いサンプリングは永続的な問題である。
サンプリングプロセスの高速化を目的として,先行研究はODE/SDEとして拡散サンプリングを改良し,高次数値法を導入した。
しかしながら、これらの手法はしばしば分岐アーティファクトを生成し、特に少ないサンプリングステップで達成可能な加速を制限する。
本稿では,これらのアーティファクトの潜在的な原因を調査し,これらの方法の小さな安定性領域が主な原因である可能性を示唆する。
この問題に対処するため,我々は2つの新しい手法を提案する。
最初の手法は、最適化を改善する有名な手法である重球運動量(hb)を既存の拡散数値法に組み込んで安定化領域を広げることである。
また、結果の方法が一階収束であることも証明する。
第2のテクニックは、GHVB(Generalized Heavy Ball)と呼ばれ、精度とアーティファクトの抑制のトレードオフを提供する新しい高階法を構築する。
提案手法は,低ステップサンプリングのためのピクセルベースおよび潜在拡散モデルの両方において,最先端の拡散ソルバを上回って,アーティファクトの削減と画質向上に極めて有効であることを示す。
本研究は,今後の拡散作業のための数値手法の設計に関する新たな知見を提供する。
関連論文リスト
- Taming Diffusion Prior for Image Super-Resolution with Domain Shift SDEs [30.973473583364832]
DoSSRは、事前訓練された拡散モデルの生成力を生かしたドメインシフト拡散に基づくSRモデルである。
このアプローチの核となるのは、既存の拡散モデルとシームレスに統合されるドメインシフト方程式です。
提案手法は, 合成および実世界のデータセットに対して, 5つのサンプリングステップしか必要とせず, 最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-09-26T12:16:11Z) - Beta Sampling is All You Need: Efficient Image Generation Strategy for Diffusion Models using Stepwise Spectral Analysis [22.02829139522153]
拡散過程の画像スペクトル解析に基づく効率的な時間ステップサンプリング法を提案する。
従来の均一分布に基づく時間ステップサンプリングの代わりに,ベータ分布のようなサンプリング手法を導入する。
我々の仮説では、あるステップは画像の内容に大きな変化を示すが、他のステップは最小限に寄与する。
論文 参考訳（メタデータ） (2024-07-16T20:53:06Z) - ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。
我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
論文 参考訳（メタデータ） (2024-03-21T17:52:08Z) - Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
論文 参考訳（メタデータ） (2024-03-12T05:06:07Z) - Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced
Hierarchical Diffusion Model [60.27825196999742]
本稿では,B2A-HDMと呼ばれる新しい階層型拡散モデルを提案する。
特に、低次元ラテント空間における基本拡散モデルは、テキスト記述と整合した中間偏微分結果を与える。
高次元ラテント空間における高度な拡散モデルは、以下の詳細エンハンス・デノナイジング過程に焦点をあてる。
論文 参考訳（メタデータ） (2023-12-18T06:30:39Z) - Global Structure-Aware Diffusion Process for Low-Light Image Enhancement [64.69154776202694]
本稿では,低照度画像強調問題に対処する拡散型フレームワークについて検討する。
我々は、その固有のODE-軌道の正規化を提唱する。
実験により,提案手法は低照度化において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-10-26T17:01:52Z) - DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for
Accelerated Seq2Seq Diffusion Models [58.450152413700586]
ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。
我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。
提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
論文 参考訳（メタデータ） (2023-10-09T15:29:10Z) - Fast Diffusion EM: a diffusion model for blind inverse problems with
application to deconvolution [0.0]
現在の手法では、劣化が知られており、復元と多様性の点で印象的な結果をもたらすと仮定している。
本研究では、これらのモデルの効率を活用し、復元された画像と未知のパラメータを共同で推定する。
本手法は,拡散モデルから抽出したサンプルを用いて,問題の対数類似度を近似し,未知のモデルパラメータを推定する方法とを交互に比較する。
論文 参考訳（メタデータ） (2023-09-01T06:47:13Z) - ResShift: Efficient Diffusion Model for Image Super-resolution by
Residual Shifting [70.83632337581034]
拡散に基づく画像超解像法(SR)は主に低推論速度によって制限される。
本稿では,SRの拡散段数を大幅に削減する新しい,効率的な拡散モデルを提案する。
本手法は,残差をシフトすることで高分解能画像と低分解能画像の間を移動させるマルコフ連鎖を構成する。
論文 参考訳（メタデータ） (2023-07-23T15:10:02Z) - Optimal Linear Subspace Search: Learning to Construct Fast and
High-Quality Schedulers for Diffusion Models [18.026820439151404]
現在、拡散モデルの適用を制限する重要な問題は、非常に遅い生成プロセスである。
最適線形部分空間探索(OLSS)と呼ばれる新しい手法を提案する。
OLSSは、非常に少ないステップで高品質な画像を生成することができる。
論文 参考訳（メタデータ） (2023-05-24T03:33:30Z) - Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models
for Inverse Problems through Stochastic Contraction [31.61199061999173]
拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。
ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。
ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
論文 参考訳（メタデータ） (2021-12-09T04:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。