論文の概要: Malliavin-Bismut Score-based Diffusion Models
- arxiv url: http://arxiv.org/abs/2503.16917v1
- Date: Fri, 21 Mar 2025 07:27:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:55:24.198693
- Title: Malliavin-Bismut Score-based Diffusion Models
- Title（参考訳）: Malliavin-Bismut スコアベース拡散モデル
- Authors: Ehsan Mirafzali, Utkarsh Gupta, Patrick Wyrod, Frank Proske, Daniele Venturi, Razvan Marinescu,
- Abstract要約: スコア関数の明示的な表現を導出するために,Malliavin計算を用いた新しいフレームワークを導入する。
その際、マリアビン微分、その随伴環、ビスムートの公式、拡散生成モデルの間の厳密な接続を確立する。
状態独立拡散係数を持つ非線形SDEに対して$nabla log p_t(x)$の閉形式式を導出する。
- 参考スコア（独自算出の注目度）: 4.8357445794151594
- License:
- Abstract: We introduce a new framework that employs Malliavin calculus to derive explicit expressions for the score function -- i.e., the gradient of the log-density -- associated with solutions to stochastic differential equations (SDEs). Our approach integrates classical integration-by-parts techniques with modern tools, such as Bismut's formula and Malliavin calculus, to address linear and nonlinear SDEs. In doing so, we establish a rigorous connection between the Malliavin derivative, its adjoint (the Malliavin divergence or the Skorokhod integral), Bismut's formula, and diffusion generative models, thus providing a systematic method for computing $\nabla \log p_t(x)$. For the linear case, we present a detailed study proving that our formula is equivalent to the actual score function derived from the solution of the Fokker--Planck equation for linear SDEs. Additionally, we derive a closed-form expression for $\nabla \log p_t(x)$ for nonlinear SDEs with state-independent diffusion coefficients. These advancements provide fresh theoretical insights into the smoothness and structure of probability densities and practical implications for score-based generative modelling, including the design and analysis of new diffusion models. Moreover, our findings promote the adoption of the robust Malliavin calculus framework in machine learning research. These results directly apply to various pure and applied mathematics fields, such as generative modelling, the study of SDEs driven by fractional Brownian motion, and the Fokker--Planck equations associated with nonlinear SDEs.
- Abstract（参考訳）: 本稿では,確率微分方程式 (SDE) の解に付随するスコア関数,すなわち対数密度の勾配の明示的な式を導出するために,Malliavin calculus を用いる新しいフレームワークを提案する。
我々の手法は、古典的な積分技法をビスムートの式やマリアヴィンの計算のような現代的なツールと統合し、線形および非線形のSDEに対処する。
その際、マリヤビン微分、その随伴(マリヤヴィン微分(英語版)(Malliavin divergence or Skorokhod integral))、ビスムートの式および拡散生成モデルの間の厳密な接続を確立し、$\nabla \log p_t(x)$を計算するための体系的な方法を提供する。
線形の場合、線形SDEに対するFokker-Planck方程式の解から導かれる実際のスコア関数と我々の公式が等価であることを示す詳細な研究を示す。
さらに、状態独立拡散係数を持つ非線形SDEに対して$\nabla \log p_t(x)$の閉形式式を導出する。
これらの進歩は、確率密度の滑らかさと構造に関する新たな理論的洞察と、新しい拡散モデルの設計と解析を含むスコアベースの生成モデルに対する実践的な意味を提供する。
さらに,機械学習研究において,ロバストなMalliavin計算フレームワークの採用が促進された。
これらの結果は、生成的モデリング、分数的ブラウン運動によって駆動されるSDEの研究、非線形SDEに付随するフォッカー・プランク方程式など、様々な純粋および応用数学の分野に直接適用される。
関連論文リスト
- On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Wasserstein proximal operators describe score-based generative models
and resolve memorization [12.321631823103894]
We first formulate SGMs with terms of Wasserstein proximal operator (WPO)
We show that WPO describe the inductive bias of diffusion and score-based model。
本稿では,SGMの性能を劇的に向上させる,スコア関数の解釈可能なカーネルベースモデルを提案する。
論文 参考訳（メタデータ） (2024-02-09T03:33:13Z) - Closing the ODE-SDE gap in score-based diffusion models through the
Fokker-Planck equation [0.562479170374811]
スコアベース拡散モデルのトレーニング時に生じる力学と近似の範囲を厳密に記述する。
従来のスコアベース拡散モデルでは, ODE-とSDE-誘導分布に有意な差が認められることを示す。
論文 参考訳（メタデータ） (2023-11-27T16:44:50Z) - Causal Modeling with Stationary Diffusions [89.94899196106223]
定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。
古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。
提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
論文 参考訳（メタデータ） (2023-10-26T14:01:17Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - Score-based Generative Modeling Through Backward Stochastic Differential
Equations: Inversion and Generation [6.2255027793924285]
提案したBSDEベースの拡散モデルは、機械学習における微分方程式(SDE)の適用を拡大する拡散モデリングの新しいアプローチを示す。
モデルの理論的保証、スコアマッチングにリプシッツネットワークを用いることの利点、および拡散反転、条件拡散、不確実性定量化など様々な分野への応用の可能性を示す。
論文 参考訳（メタデータ） (2023-04-26T01:15:35Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Score-based Generative Modeling of Graphs via the System of Stochastic
Differential Equations [57.15855198512551]
本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。
本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
論文 参考訳（メタデータ） (2022-02-05T08:21:04Z) - Approximate Latent Force Model Inference [1.3927943269211591]
潜在力モデルは、動的システムにおける推論のための純粋にデータ駆動ツールの解釈可能な代替手段を提供する。
ニューラルネットワークのアプローチは、モデルを数千のインスタンスにスケールし、高速で分散的な計算を可能にします。
論文 参考訳（メタデータ） (2021-09-24T09:55:00Z) - Stationary Density Estimation of It\^o Diffusions Using Deep Learning [6.8342505943533345]
離散時間系列からのエルゴード的伊藤拡散の定常測度に関連する密度推定問題を考察する。
我々は深層ニューラルネットワークを用いてSDEのドリフトと拡散の項を近似する。
我々は、適切な数学的仮定の下で提案されたスキームの収束を確立する。
論文 参考訳（メタデータ） (2021-09-09T01:57:14Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。