論文の概要: Elucidating the solution space of extended reverse-time SDE for diffusion models

• arxiv url: http://arxiv.org/abs/2309.06169v3
• Date: Thu, 27 Feb 2025 07:11:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:54:34.687365
• Title: Elucidating the solution space of extended reverse-time SDE for diffusion models
• Title（参考訳）: 拡散モデルに対する拡張逆時間SDEの解空間の解明
• Authors: Qinpeng Cui, Xinyi Zhang, Qiqi Bao, Qingmin Liao,
• Abstract要約: サンプリングプロセスを拡張逆時間SDE(ER SDE)として定式化する。 SDE と VE SDE に対してそれぞれ正確な解と近似解を提供する。 我々は,ER-SDE-rsという効率的な高品質なサンプリング装置を考案した。
• 参考スコア（独自算出の注目度）: 23.637881476921596
• License:
• Abstract: Sampling from Diffusion Models can alternatively be seen as solving differential equations, where there is a challenge in balancing speed and image visual quality. ODE-based samplers offer rapid sampling time but reach a performance limit, whereas SDE-based samplers achieve superior quality, albeit with longer iterations. In this work, we formulate the sampling process as an Extended Reverse-Time SDE (ER SDE), unifying prior explorations into ODEs and SDEs. Theoretically, leveraging the semi-linear structure of ER SDE solutions, we offer exact solutions and approximate solutions for VP SDE and VE SDE, respectively. Based on the approximate solution space of the ER SDE, referred to as one-step prediction errors, we yield mathematical insights elucidating the rapid sampling capability of ODE solvers and the high-quality sampling ability of SDE solvers. Additionally, we unveil that VP SDE solvers stand on par with their VE SDE counterparts. Based on these findings, leveraging the dual advantages of ODE solvers and SDE solvers, we devise efficient high-quality samplers, namely ER-SDE-Solvers. Experimental results demonstrate that ER-SDE-Solvers achieve state-of-the-art performance across all stochastic samplers while maintaining efficiency of deterministic samplers. Specifically, on the ImageNet $128\times128$ dataset, ER-SDE-Solvers obtain 8.33 FID in only 20 function evaluations. Code is available at \href{https://github.com/QinpengCui/ER-SDE-Solver}{https://github.com/QinpengCui/ER-SDE-Solver}
• Abstract（参考訳）: 拡散モデルからのサンプリングは、速度と画像の視覚的品質のバランスをとる上での課題である微分方程式の解法と見なすことができる。 ODEベースのサンプルは、速いサンプリング時間を提供するが、パフォーマンスの限界に達する。 本研究では,提案手法をER SDE (Extended Reverse-Time SDE) として定式化し,従来のODEやSDEへの探索を統一する。 理論的には、ER SDE の半線形構造を利用して、VP SDE と VE SDE にそれぞれ正確な解と近似解を提供する。 本研究では, 1段階予測誤差と呼ばれるER SDEの近似解空間に基づいて, ODEソルバの高速サンプリング能力とSDEソルバの高品質サンプリング能力を明らかにする数学的知見を得る。 さらに,VP SDEソルバがVE SDEソルバと同等であることも明らかにした。 これらの結果に基づき、ODEソルバとSDEソルバの2つの利点を生かして、ER-SDE-Solversという効率的な高品質サンプリング器を考案した。 実験結果から,ER-SDE-Solversは全ての確率的サンプリング器に対して,決定論的サンプリング器の効率を保ちながら,最先端性能を実現していることが示された。 具体的には、ImageNet $128\times128$データセットでは、ER-SDE-Solversは、たった20の関数評価で8.33 FIDを取得する。 コードは \href{https://github.com/QinpengCui/ER-SDE-Solver}{https://github.com/QinpengCui/ER-SDE-Solver} で公開されている。

関連論文リスト

• SDE Matching: Scalable and Simulation-Free Training of Latent Stochastic Differential Equations [2.1779479916071067]
  SDEマッチング(SDE Matching)を提案する。 以上の結果から,SDEマッチングは随伴感度法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2025-02-04T16:47:49Z)
• Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers [55.0876373185983]
  広範にPDEを解くことができるUniversal PDEソルバ(Unisolver)を提案する。 私たちの重要な発見は、PDEソリューションが基本的に一連のPDEコンポーネントの制御下にあることです。 Unisolverは3つの挑戦的な大規模ベンチマークにおいて、一貫した最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-05-27T15:34:35Z)
• AdjointDEIS: Efficient Gradients for Diffusion Models [2.0795007613453445]
  拡散SDEに対する連続随伴方程式は、実際には単純なODEに単純化されていることを示す。 また, 顔形態形成問題の形で, 対向攻撃による誘導生成に対するAdjointDEISの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-23T19:51:33Z)
• Consistent3D: Towards Consistent High-Fidelity Text-to-3D Generation with Deterministic Sampling Prior [87.55592645191122]
  スコア蒸留サンプリング(SDS)とその変種は、テキスト・ツー・3D世代の発展を大幅に加速させたが、幾何崩壊やテクスチャの低下に弱い。 テキストから3D生成に先立ってODE決定論的サンプリングを探索する新しい「一貫性3D」手法を提案する。 実験により,高忠実で多様な3Dオブジェクトと大規模シーンの生成にConsistent3Dの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-17T08:32:07Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models [0.49478969093606673]
  DPM(Diffusion Probabilistic Models)として知られる強力な生成モデルのクラスが注目されている。 高速であるにもかかわらず、そのような解法は通常、利用可能な遅いSDE解法によって達成される最適な品質に達しない。 我々の目標は、その目標を達成するために数百から数千のNFEを必要とすることなく、最適な品質に達するSDEソルバを提案することである。
  論文  参考訳（メタデータ） (2023-05-23T17:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。