論文の概要: The probability flow ODE is provably fast
- arxiv url: http://arxiv.org/abs/2305.11798v1
- Date: Fri, 19 May 2023 16:33:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 13:30:40.152106
- Title: The probability flow ODE is provably fast
- Title(参考訳): 確率フローODEは確実に高速である
- Authors: Sitan Chen, Sinho Chewi, Holden Lee, Yuanzhi Li, Jianfeng Lu, Adil
Salim
- Abstract要約: 本稿では、スコアベース生成モデルにおける確率フローODEの実装(補正ステップを含む)について、最初の収束保証を提供する。
本分析は,SDEに基づく実装の保証を得た最近の結果を踏まえて実施した。
- 参考スコア(独自算出の注目度): 43.94655061860487
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide the first polynomial-time convergence guarantees for the
probability flow ODE implementation (together with a corrector step) of
score-based generative modeling. Our analysis is carried out in the wake of
recent results obtaining such guarantees for the SDE-based implementation
(i.e., denoising diffusion probabilistic modeling or DDPM), but requires the
development of novel techniques for studying deterministic dynamics without
contractivity. Through the use of a specially chosen corrector step based on
the underdamped Langevin diffusion, we obtain better dimension dependence than
prior works on DDPM ($O(\sqrt{d})$ vs. $O(d)$, assuming smoothness of the data
distribution), highlighting potential advantages of the ODE framework.
- Abstract(参考訳): スコアベース生成モデルの確率フローODE実装(補正ステップを含む)に対する最初の多項式時間収束保証を提供する。
本研究は,最近のsdeに基づく実装(拡散確率モデリング,ddpm)の保証を得た結果から得られたものであるが,契約性のない決定論的ダイナミクスを研究するための新しい手法の開発が求められている。
非破壊的ランジュバン拡散に基づく特別に選択された補正ステップを用いることで、ddpm(o(\sqrt{d})$ vs. $o(d)$、データ分布の滑らかさを仮定して)の以前の作業よりも優れた次元依存性を得ることができ、odeフレームワークの潜在的な利点を浮き彫りにする。
関連論文リスト
- Flow-based Distributionally Robust Optimization [23.232731771848883]
We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。
我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。
本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
論文 参考訳(メタデータ) (2023-10-30T03:53:31Z) - Data-driven Modeling and Inference for Bayesian Gaussian Process ODEs
via Double Normalizing Flows [28.62579476863723]
本稿では,ODEベクトル場を再パラメータ化するために正規化フローを導入し,データ駆動の事前分布を導出する。
また, GP ODE の後部推定に正規化フローを適用し, 強平均場仮定の問題を解く。
シミュレーション力学系と実世界の人間の動作データに対するアプローチの有効性を検証した。
論文 参考訳(メタデータ) (2023-09-17T09:28:47Z) - AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。
本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。
本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。
次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文 参考訳(メタデータ) (2023-07-20T09:06:21Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Error Bounds for Flow Matching Methods [38.9898500163582]
フローマッチング法は、2つの任意の確率分布間のフローを近似する。
近似誤差に$L2$の値とデータ分布に一定の規則性を仮定し, 完全に決定論的サンプリングを用いたフローマッチング手順の誤差境界を提案する。
論文 参考訳(メタデータ) (2023-05-26T12:13:53Z) - On Accelerating Diffusion-Based Sampling Process via Improved
Integration Approximation [12.882586878998579]
拡散に基づく生成モデルをサンプリングする一般的なアプローチは、常微分方程式(ODE)を解くことである。
改良された積分近似(IIA)を用いて特定の係数を最適化することにより、人気のあるODEベースのサンプリングプロセスの高速化を検討する。
また,IIA-EDM,IIA-DDIM,IIA-DPM-rを用いて,FIDスコアを従来よりも大幅に向上できることが示唆された。
論文 参考訳(メタデータ) (2023-04-22T06:06:28Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳(メタデータ) (2022-11-17T15:48:06Z) - Diffusion Schr\"odinger Bridge with Applications to Score-Based
Generative Modeling [24.46142828617484]
Diffusion SB は、Schr"odinger Bridge 問題を解くために、Iterative Proportional Fitting (IPF) 手順のオリジナル近似である。
本稿では,SB問題の解法としてIterative Proportional Fitting (IPF) 法のオリジナル近似であるDiffusion SBを提案する。
論文 参考訳(メタデータ) (2021-06-01T17:34:27Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳(メタデータ) (2020-11-26T19:39:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。