論文の概要: Gaussian Mixture Solvers for Diffusion Models

• arxiv url: http://arxiv.org/abs/2311.00941v1
• Date: Thu, 2 Nov 2023 02:05:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 15:02:32.721751
• Title: Gaussian Mixture Solvers for Diffusion Models
• Title（参考訳）: 拡散モデルのためのガウス混合解法
• Authors: Hanzhong Guo, Cheng Lu, Fan Bao, Tianyu Pang, Shuicheng Yan, Chao Du, Chongxuan Li
• Abstract要約: 本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
• 参考スコア（独自算出の注目度）: 84.83349474361204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, diffusion models have achieved great success in generative tasks. Sampling from diffusion models is equivalent to solving the reverse diffusion stochastic differential equations (SDEs) or the corresponding probability flow ordinary differential equations (ODEs). In comparison, SDE-based solvers can generate samples of higher quality and are suited for image translation tasks like stroke-based synthesis. During inference, however, existing SDE-based solvers are severely constrained by the efficiency-effectiveness dilemma. Our investigation suggests that this is because the Gaussian assumption in the reverse transition kernel is frequently violated (even in the case of simple mixture data) given a limited number of discretization steps. To overcome this limitation, we introduce a novel class of SDE-based solvers called \emph{Gaussian Mixture Solvers (GMS)} for diffusion models. Our solver estimates the first three-order moments and optimizes the parameters of a Gaussian mixture transition kernel using generalized methods of moments in each step during sampling. Empirically, our solver outperforms numerous SDE-based solvers in terms of sample quality in image generation and stroke-based synthesis in various diffusion models, which validates the motivation and effectiveness of GMS. Our code is available at https://github.com/Guohanzhong/GMS.
• Abstract（参考訳）: 近年,拡散モデルが生成的タスクにおいて大きな成功を収めている。 拡散モデルからのサンプリングは、逆拡散確率微分方程式(SDE)や対応する確率フロー常微分方程式(ODE)の解法と等価である。 対照的に、SDEベースの解法は高品質のサンプルを生成することができ、ストロークベースの合成のような画像翻訳タスクに適している。 しかし, 既存のSDEベースの解法は, 効率効率ジレンマにより厳しい制約を受ける。 本研究は, 逆遷移核におけるガウス的仮定が, 有限個の離散化ステップによってしばしば違反される(単純な混合データであっても)ことを示唆している。 この制限を克服するために、拡散モデルのための新しいSDEベースの解法である \emph{Gaussian Mixture Solvers (GMS) を導入する。 我々の解法は,最初の3次モーメントを推定し,サンプリング中の各ステップにおけるモーメントの一般化手法を用いてガウス混合遷移カーネルのパラメータを最適化する。 実験により,GMSのモチベーションと有効性を検証し,画像生成におけるサンプル品質と,様々な拡散モデルにおけるストロークベース合成において多くのSDEベースの解法よりも優れていた。 私たちのコードはhttps://github.com/guohanzhong/gmsで利用可能です。

関連論文リスト

• AdjointDEIS: Efficient Gradients for Diffusion Models [2.0795007613453445]
  拡散SDEに対する連続随伴方程式は、実際には単純なODEに単純化されていることを示す。 また, 顔形態形成問題の形で, 対向攻撃による誘導生成に対するAdjointDEISの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-23T19:51:33Z)
• Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors [0.0]
  拡散モデルやスコアベースモデルでは画像生成の性能が向上した。 本研究では,データ分布がガウス的である場合の拡散モデルの挙動とその数値的実装について理論的に検討する。
  論文  参考訳（メタデータ） (2024-05-23T07:28:56Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models [0.49478969093606673]
  DPM(Diffusion Probabilistic Models)として知られる強力な生成モデルのクラスが注目されている。 高速であるにもかかわらず、そのような解法は通常、利用可能な遅いSDE解法によって達成される最適な品質に達しない。 我々の目標は、その目標を達成するために数百から数千のNFEを必要とすることなく、最適な品質に達するSDEソルバを提案することである。
  論文  参考訳（メタデータ） (2023-05-23T17:19:54Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。