論文の概要: Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors

• arxiv url: http://arxiv.org/abs/2405.14250v3
• Date: Wed, 12 Jun 2024 15:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 22:05:02.893347
• Title: Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors
• Title（参考訳）: ガウス分布の拡散モデル:厳密解とワッサーシュタイン誤差
• Authors: Emile Pierret, Bruno Galerne,
• Abstract要約: 拡散モデルやスコアベースモデルでは画像生成の性能が向上した。 本研究では,データ分布がガウス的である場合の拡散モデルの挙動とその数値的実装について理論的に検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion or score-based models recently showed high performance in image generation. They rely on a forward and a backward stochastic differential equations (SDE). The sampling of a data distribution is achieved by solving numerically the backward SDE or its associated flow ODE. Studying the convergence of these models necessitates to control four different types of error: the initialization error, the truncation error, the discretization and the score approximation. In this paper, we study theoretically the behavior of diffusion models and their numerical implementation when the data distribution is Gaussian. In this restricted framework where the score function is a linear operator, we can derive the analytical solutions of the forward and backward SDEs as well as the associated flow ODE. This provides exact expressions for various Wasserstein errors which enable us to compare the influence of each error type for any sampling scheme, thus allowing to monitor convergence directly in the data space instead of relying on Inception features. Our experiments show that the recommended numerical schemes from the diffusion models literature are also the best sampling schemes for Gaussian distributions.
• Abstract（参考訳）: 拡散モデルやスコアベースモデルでは画像生成の性能が向上した。 これらは前方および後方確率微分方程式(SDE)に依存する。 データ分布のサンプリングは、後方SDEまたはその関連するフローODEを数値的に解くことにより達成される。 これらのモデルの収束を研究するには、初期化誤差、トランケーション誤差、離散化、スコア近似の4つの異なる種類のエラーを制御する必要がある。 本稿では,データ分布がガウス的である場合の拡散モデルの挙動とその数値的実装について理論的に検討する。 スコア関数が線型作用素であるこの制限されたフレームワークでは、前向きおよび後向きのSDEと関連するフローODEの分析解を導出することができる。 これにより、様々なWassersteinエラーに対する正確な表現が提供され、任意のサンプリングスキームに対する各エラータイプの影響を比較することができ、インセプション機能に頼るのではなく、データ空間内で直接収束を監視することができます。 実験の結果,拡散モデルの文献から推奨される数値スキームもガウス分布の最良のサンプリングスキームであることがわかった。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Error Bounds for Flow Matching Methods [38.9898500163582]
  フローマッチング法は、2つの任意の確率分布間のフローを近似する。 近似誤差に$L2$の値とデータ分布に一定の規則性を仮定し, 完全に決定論的サンプリングを用いたフローマッチング手順の誤差境界を提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:13:53Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• GANs as Gradient Flows that Converge [3.8707695363745223]
  分布依存常微分方程式によって誘導される勾配流に沿って、未知のデータ分布が長時間の極限として現れることを示す。 ODEのシミュレーションは、生成ネットワーク(GAN)のトレーニングと等価である。 この等価性は、GANの新たな「協力的」見解を提供し、さらに重要なのは、GANの多様化に新たな光を放つことである。
  論文  参考訳（メタデータ） (2022-05-05T20:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。