論文の概要: Diffusion Schr\"odinger Bridge with Applications to Score-Based
Generative Modeling
- arxiv url: http://arxiv.org/abs/2106.01357v5
- Date: Wed, 5 Apr 2023 09:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 16:53:43.714215
- Title: Diffusion Schr\"odinger Bridge with Applications to Score-Based
Generative Modeling
- Title(参考訳): Diffusion Schr\"odinger Bridgeとスコアベース生成モデルへの応用
- Authors: Valentin De Bortoli, James Thornton, Jeremy Heng, Arnaud Doucet
- Abstract要約: Diffusion SB は、Schr"odinger Bridge 問題を解くために、Iterative Proportional Fitting (IPF) 手順のオリジナル近似である。
本稿では,SB問題の解法としてIterative Proportional Fitting (IPF) 法のオリジナル近似であるDiffusion SBを提案する。
- 参考スコア(独自算出の注目度): 24.46142828617484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Progressively applying Gaussian noise transforms complex data distributions
to approximately Gaussian. Reversing this dynamic defines a generative model.
When the forward noising process is given by a Stochastic Differential Equation
(SDE), Song et al. (2021) demonstrate how the time inhomogeneous drift of the
associated reverse-time SDE may be estimated using score-matching. A limitation
of this approach is that the forward-time SDE must be run for a sufficiently
long time for the final distribution to be approximately Gaussian. In contrast,
solving the Schr\"odinger Bridge problem (SB), i.e. an entropy-regularized
optimal transport problem on path spaces, yields diffusions which generate
samples from the data distribution in finite time. We present Diffusion SB
(DSB), an original approximation of the Iterative Proportional Fitting (IPF)
procedure to solve the SB problem, and provide theoretical analysis along with
generative modeling experiments. The first DSB iteration recovers the
methodology proposed by Song et al. (2021), with the flexibility of using
shorter time intervals, as subsequent DSB iterations reduce the discrepancy
between the final-time marginal of the forward (resp. backward) SDE with
respect to the prior (resp. data) distribution. Beyond generative modeling, DSB
offers a widely applicable computational optimal transport tool as the
continuous state-space analogue of the popular Sinkhorn algorithm (Cuturi,
2013).
- Abstract(参考訳): ガウス雑音の漸進的適用は、複素データ分布をおよそガウスに変換する。
このダイナミックな反転は生成モデルを定義する。
確率微分方程式(sde)によりフォワードノージング過程が与えられると、song et al.(2021)はスコアマッチングを用いて関連する逆時間sdeの時間不均質なドリフトを推定する方法を示す。
このアプローチの制限は、最終分布がほぼガウス的であるためには、前向きの SDE を十分に長い時間実行しなければならないことである。
対照的に、経路空間上のエントロピー規則化された最適輸送問題であるSchr\"odinger Bridge problem (SB) を解くと、有限時間でデータ分布からサンプルを生成する拡散が得られる。
本稿では,SB問題を解くためにIterative Proportional Fitting (IPF) 法のオリジナル近似である Diffusion SB (DSB) を提案し,生成モデル実験とともに理論的解析を行った。
第1のdsb反復は、song et al. (2021) によって提案された手法を、より短い時間間隔を使用する柔軟性をもって回復し、その後のdsb反復は、前(resp. data)分布に対する前方(resp. backward)sdeの最終時間辺とのずれを減少させる。
生成モデリング以外にも、DSBは人気のあるシンクホーンアルゴリズム(Cuturi, 2013)の連続状態空間アナログとして広く応用可能な計算最適輸送ツールを提供している。
関連論文リスト
- Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Exploring the Optimal Choice for Generative Processes in Diffusion
Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。
その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
論文 参考訳(メタデータ) (2023-06-03T09:27:15Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Denoising Diffusion Samplers [41.796349001299156]
拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。
我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。
この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
論文 参考訳(メタデータ) (2023-02-27T14:37:16Z) - Diffusion Normalizing Flow [4.94950858749529]
本稿では微分方程式(SDE)に基づく拡散正規化フローという新しい生成モデルを提案する。
このアルゴリズムは、2つのニューラルSDEで構成されており、データに徐々にノイズを加えてガウスランダムノイズに変換するフォワードSDEと、データ分布からサンプルへのノイズを徐々に除去する後方SDEである。
提案アルゴリズムは,高次元データ密度推定と画像生成の両タスクにおける競合性能を示す。
論文 参考訳(メタデータ) (2021-10-14T17:41:12Z) - Distributed stochastic optimization with large delays [59.95552973784946]
大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。
DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
論文 参考訳(メタデータ) (2021-07-06T21:59:49Z) - A Variational Perspective on Diffusion-Based Generative Models and Score
Matching [8.93483643820767]
連続時間生成拡散の確率推定のための変分フレームワークを導出する。
本研究は,プラグイン逆SDEの可能性の低い境界を最大化することと,スコアマッチング損失の最小化が等価であることを示す。
論文 参考訳(メタデータ) (2021-06-05T05:50:36Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳(メタデータ) (2020-11-26T19:39:10Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳(メタデータ) (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。