論文の概要: Closing the ODE-SDE gap in score-based diffusion models through the Fokker-Planck equation

• arxiv url: http://arxiv.org/abs/2311.15996v1
• Date: Mon, 27 Nov 2023 16:44:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 14:17:24.040766
• Title: Closing the ODE-SDE gap in score-based diffusion models through the Fokker-Planck equation
• Title（参考訳）: Fokker-Planck方程式によるスコアベース拡散モデルにおけるODE-SDEギャップの閉包
• Authors: Teo Deveney, Jan Stanczuk, Lisa Maria Kreusser, Chris Budd, Carola-Bibiane Sch\"onlieb
• Abstract要約: スコアベース拡散モデルのトレーニング時に生じる力学と近似の範囲を厳密に記述する。 従来のスコアベース拡散モデルでは, ODE-とSDE-誘導分布に有意な差が認められることを示す。
• 参考スコア（独自算出の注目度）: 0.562479170374811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based diffusion models have emerged as one of the most promising frameworks for deep generative modelling, due to their state-of-the art performance in many generation tasks while relying on mathematical foundations such as stochastic differential equations (SDEs) and ordinary differential equations (ODEs). Empirically, it has been reported that ODE based samples are inferior to SDE based samples. In this paper we rigorously describe the range of dynamics and approximations that arise when training score-based diffusion models, including the true SDE dynamics, the neural approximations, the various approximate particle dynamics that result, as well as their associated Fokker--Planck equations and the neural network approximations of these Fokker--Planck equations. We systematically analyse the difference between the ODE and SDE dynamics of score-based diffusion models, and link it to an associated Fokker--Planck equation. We derive a theoretical upper bound on the Wasserstein 2-distance between the ODE- and SDE-induced distributions in terms of a Fokker--Planck residual. We also show numerically that conventional score-based diffusion models can exhibit significant differences between ODE- and SDE-induced distributions which we demonstrate using explicit comparisons. Moreover, we show numerically that reducing the Fokker--Planck residual by adding it as an additional regularisation term leads to closing the gap between ODE- and SDE-induced distributions. Our experiments suggest that this regularisation can improve the distribution generated by the ODE, however that this can come at the cost of degraded SDE sample quality.
• Abstract（参考訳）: スコアベース拡散モデルは、確率微分方程式 (SDE) や常微分方程式 (ODE) のような数学的基礎を頼りながら、多くの世代のタスクにおける最先端技術の性能のため、深層生成モデリングの最も有望なフレームワークの1つである。 経験的に、ODEベースのサンプルはSDEベースのサンプルより劣っていることが報告されている。 本稿では、真のsde動力学、神経近似、その結果生じる様々な近似粒子動力学、およびそれらの関連するフォッカー・プランク方程式、およびこれらのフォッカー・プランク方程式のニューラルネットワーク近似を含む、スコアに基づく拡散モデルをトレーニングする際に生じるダイナミクスと近似の範囲を厳密に記述する。 我々は、スコアベース拡散モデルのODEとSDEのダイナミクスの違いを系統的に解析し、関連するFokker-Planck方程式にリンクする。 我々は、Fokker-Planck残差の観点から、ODE-とSDE-誘導分布間のワッサーシュタイン2-距離の理論上界を導出する。 また,従来のスコアベース拡散モデルでは,オデとsdeにより引き起こされる分布に有意な差があることを示す。 さらに,追加正規化項として追加することにより,fokker-planck残差の低減がode分布とsde分布のギャップを縮めることを数値的に示す。 この正規化は, ODE が生成する分布を改善することができるが, SDE サンプルの品質低下のコストがかかる可能性が示唆された。

関連論文リスト

• AdjointDEIS: Efficient Gradients for Diffusion Models [2.0795007613453445]
  拡散SDEに対する連続随伴方程式は、実際には単純なODEに単純化されていることを示す。 また, 顔形態形成問題の形で, 対向攻撃による誘導生成に対するAdjointDEISの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-23T19:51:33Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Causal Modeling with Stationary Diffusions [89.94899196106223]
  定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。 古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。 提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
  論文  参考訳（メタデータ） (2023-10-26T14:01:17Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation [6.2255027793924285]
  提案したBSDEベースの拡散モデルは、機械学習における微分方程式(SDE)の適用を拡大する拡散モデリングの新しいアプローチを示す。 モデルの理論的保証、スコアマッチングにリプシッツネットワークを用いることの利点、および拡散反転、条件拡散、不確実性定量化など様々な分野への応用の可能性を示す。
  論文  参考訳（メタデータ） (2023-04-26T01:15:35Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• An optimal control perspective on diffusion-based generative modeling [9.806130366152194]
  微分方程式(SDE)に基づく最適制御と生成モデルとの接続を確立する。 特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。 非正規化密度から抽出する新しい拡散法を開発した。
  論文  参考訳（メタデータ） (2022-11-02T17:59:09Z)
• Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations [57.15855198512551]
  本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。 本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
  論文  参考訳（メタデータ） (2022-02-05T08:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。