論文の概要: Noise in the reverse process improves the approximation capabilities of
diffusion models
- arxiv url: http://arxiv.org/abs/2312.07851v2
- Date: Thu, 14 Dec 2023 02:17:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 11:19:10.264150
- Title: Noise in the reverse process improves the approximation capabilities of
diffusion models
- Title（参考訳）: 逆過程における雑音は拡散モデルの近似能力を改善する
- Authors: Karthik Elamvazhuthi and Samet Oymak and Fabio Pasqualetti
- Abstract要約: 生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。
我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
- 参考スコア（独自算出の注目度）: 27.65800389807353
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Score based Generative Modeling (SGMs), the state-of-the-art in generative
modeling, stochastic reverse processes are known to perform better than their
deterministic counterparts. This paper delves into the heart of this
phenomenon, comparing neural ordinary differential equations (ODEs) and neural
stochastic differential equations (SDEs) as reverse processes. We use a control
theoretic perspective by posing the approximation of the reverse process as a
trajectory tracking problem. We analyze the ability of neural SDEs to
approximate trajectories of the Fokker-Planck equation, revealing the
advantages of stochasticity. First, neural SDEs exhibit a powerful regularizing
effect, enabling $L^2$ norm trajectory approximation surpassing the Wasserstein
metric approximation achieved by neural ODEs under similar conditions, even
when the reference vector field or score function is not Lipschitz. Applying
this result, we establish the class of distributions that can be sampled using
score matching in SGMs, relaxing the Lipschitz requirement on the gradient of
the data distribution in existing literature. Second, we show that this
approximation property is preserved when network width is limited to the input
dimension of the network. In this limited width case, the weights act as
control inputs, framing our analysis as a controllability problem for neural
SDEs in probability density space. This sheds light on how noise helps to steer
the system towards the desired solution and illuminates the empirical success
of stochasticity in generative modeling.
- Abstract（参考訳）: Score based Generative Modeling (SGMs) では、確率的逆過程は決定論的過程よりも優れていることが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラル確率微分方程式 (SDE) を逆過程として比較し,この現象の核を掘り下げる。
逆過程の近似を軌道追跡問題として定式化することにより,制御論的視点を用いる。
我々は,Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し,確率性の利点を明らかにする。
第一に、ニューラルSDEは強力な正規化効果を示し、参照ベクトル場やスコア関数がリプシッツでない場合でも、類似条件下でのニューラルODEによって達成されるワッサーシュタイン計量近似を超えるノルム軌道近似を可能にする。
この結果を用いて,sgmsにおけるスコアマッチングを用いてサンプルできる分布のクラスを確立し,既存の文献におけるデータ分布の勾配に対するリプシッツ要件を緩和する。
第2に、ネットワーク幅がネットワークの入力次元に制限された場合、この近似特性が保存されることを示す。
この限定幅の場合、重みは制御入力として作用し、確率密度空間における神経sdesの制御可能性問題として解析を相補する。
これにより、ノイズがシステムの望ましい解への制御にどのように役立つかが明らかになり、生成的モデリングにおける確率性の実証的な成功を照らします。
関連論文リスト
- Sparse Inducing Points in Deep Gaussian Processes: Enhancing Modeling with Denoising Diffusion Variational Inference [6.37512592611305]
深いガウス過程(DGP)では、モデルの後部分布を近似するために誘導点と呼ばれるスパース積分位置が選択される。
後部近似に対する従来の変分推論アプローチは、しばしば大きなバイアスを引き起こす。
本稿では、微分微分方程式(SDE)を用いて誘導変数の後続サンプルを生成するDDVI(Denoising Diffusion Variational Inference)という方法を提案する。
論文 参考訳（メタデータ） (2024-07-24T06:39:58Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳（メタデータ） (2023-11-02T02:05:38Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。
我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳（メタデータ） (2023-02-10T08:05:19Z) - Continuous-time stochastic gradient descent for optimizing over the
stationary distribution of stochastic differential equations [7.65995376636176]
定常分布の微分方程式(SDE)モデルを最適化するための新しい連続時間勾配降下法を開発した。
線形SDEモデルに対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
論文 参考訳（メタデータ） (2022-02-14T11:45:22Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Learning effective stochastic differential equations from microscopic
simulations: combining stochastic numerics and deep learning [0.46180371154032895]
ニューラルネットワークを用いた実効SDEにおけるドリフトと拡散関数を近似した。
当社のアプローチでは、長いトラジェクトリを必要とせず、散在するスナップショットデータで動作し、スナップショット毎に異なるタイムステップを自然に処理するように設計されています。
論文 参考訳（メタデータ） (2021-06-10T13:00:18Z) - Learning stochastic dynamical systems with neural networks mimicking the
Euler-Maruyama scheme [14.436723124352817]
本稿では,SDEのパラメータを組み込みのSDE統合方式でニューラルネットワークで表現するデータ駆動手法を提案する。
このアルゴリズムは、幾何学的ブラウン運動とロレンツ-63モデルのバージョンに適用される。
論文 参考訳（メタデータ） (2021-05-18T11:41:34Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳（メタデータ） (2020-11-26T19:39:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。