論文の概要: ERA-Solver: Error-Robust Adams Solver for Fast Sampling of Diffusion
Probabilistic Models
- arxiv url: http://arxiv.org/abs/2301.12935v1
- Date: Mon, 30 Jan 2023 14:32:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 14:24:08.393954
- Title: ERA-Solver: Error-Robust Adams Solver for Fast Sampling of Diffusion
Probabilistic Models
- Title(参考訳): era-solver:拡散確率モデルの高速サンプリングのためのエラーロバストアダムス解法
- Authors: Shengmeng Li, Luping Liu, Zenghao Chai, Runnan Li, Xu Tan
- Abstract要約: 拡散確率モデル(DDPM)の低サンプリング効率は、さらなる応用を制限する。
我々はエラーロストなAdamsソルバ(ERA-r)を構築する。
Cifar10, LSUN-Church, LSUN-Bedroomの実験では, 画像生成のためのERA-r 5.14, 9.42, 9.69 Fenchel Inception Distance(FID)を提案し, ネットワーク評価は10であった。
- 参考スコア(独自算出の注目度): 25.468628820118564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Though denoising diffusion probabilistic models (DDPMs) have achieved
remarkable generation results, the low sampling efficiency of DDPMs still
limits further applications. Since DDPMs can be formulated as diffusion
ordinary differential equations (ODEs), various fast sampling methods can be
derived from solving diffusion ODEs. However, we notice that previous sampling
methods with fixed analytical form are not robust with the error in the noise
estimated from pretrained diffusion models. In this work, we construct an
error-robust Adams solver (ERA-Solver), which utilizes the implicit Adams
numerical method that consists of a predictor and a corrector. Different from
the traditional predictor based on explicit Adams methods, we leverage a
Lagrange interpolation function as the predictor, which is further enhanced
with an error-robust strategy to adaptively select the Lagrange bases with
lower error in the estimated noise. Experiments on Cifar10, LSUN-Church, and
LSUN-Bedroom datasets demonstrate that our proposed ERA-Solver achieves 5.14,
9.42, and 9.69 Fenchel Inception Distance (FID) for image generation, with only
10 network evaluations.
- Abstract(参考訳): DDPM(denoising diffusion probabilistic model)は優れた生成結果を得たが、DDPMのサンプリング効率の低さは依然としてさらなる応用を制限している。
DDPMは拡散常微分方程式(ODE)として定式化できるため、様々な高速サンプリング法は拡散方程式の解法から導出される。
しかし, 事前学習した拡散モデルから推定した雑音の誤差に対して, 固定解析形式による従来のサンプリング手法は頑健ではないことがわかった。
本研究では,予測器と補正器からなる暗黙のアダムス数値解法を用いて,エラーロバスト・アダムス解法(era-solver)を構築した。
明示的なアダムス法に基づく従来の予測器とは異なり、予測器としてラグランジュ補間関数を活用し、推定ノイズの誤差が低いラグランジュ基底を適応的に選択するエラーロバスト戦略をさらに強化する。
Cifar10, LSUN-Church, LSUN-Bedroomのデータセットを用いた実験により, 提案したERA-Solverは画像生成のための5.14, 9.42, 9.69 Fenchel Inception Distance(FID)を達成でき, ネットワーク評価は10に過ぎなかった。
関連論文リスト
- Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Interpreting and Improving Diffusion Models Using the Euclidean Distance
Function [5.4335814053931815]
我々はこの観測を用いて、ユークリッド距離関数に適用された近似勾配勾配の拡散モデルを再解釈する。
そこで本研究では, DDIM サンプルの直進収束解析を行い, デノイザの投射誤差を簡易に仮定する。
本稿では,DDIMに対する2つの簡単な修正に基づく新しいサンプリング手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T00:56:33Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳(メタデータ) (2023-05-30T21:07:52Z) - Error Bounds for Flow Matching Methods [38.9898500163582]
フローマッチング法は、2つの任意の確率分布間のフローを近似する。
近似誤差に$L2$の値とデータ分布に一定の規則性を仮定し, 完全に決定論的サンプリングを用いたフローマッチング手順の誤差境界を提案する。
論文 参考訳(メタデータ) (2023-05-26T12:13:53Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Denoising Diffusion Samplers [41.796349001299156]
拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。
我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。
この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
論文 参考訳(メタデータ) (2023-02-27T14:37:16Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳(メタデータ) (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。