論文の概要: On the Trajectory Regularity of ODE-based Diffusion Sampling
- arxiv url: http://arxiv.org/abs/2405.11326v1
- Date: Sat, 18 May 2024 15:59:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 18:18:48.621553
- Title: On the Trajectory Regularity of ODE-based Diffusion Sampling
- Title（参考訳）: ODEに基づく拡散サンプリングの軌道規則性について
- Authors: Defang Chen, Zhenyu Zhou, Can Wang, Chunhua Shen, Siwei Lyu,
- Abstract要約: 拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
- 参考スコア（独自算出の注目度）: 79.17334230868693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion-based generative models use stochastic differential equations (SDEs) and their equivalent ordinary differential equations (ODEs) to establish a smooth connection between a complex data distribution and a tractable prior distribution. In this paper, we identify several intriguing trajectory properties in the ODE-based sampling process of diffusion models. We characterize an implicit denoising trajectory and discuss its vital role in forming the coupled sampling trajectory with a strong shape regularity, regardless of the generated content. We also describe a dynamic programming-based scheme to make the time schedule in sampling better fit the underlying trajectory structure. This simple strategy requires minimal modification to any given ODE-based numerical solvers and incurs negligible computational cost, while delivering superior performance in image generation, especially in $5\sim 10$ function evaluations.
- Abstract（参考訳）: 拡散に基づく生成モデルは確率微分方程式(SDE)とその等価常微分方程式(ODE)を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
本稿では, 暗黙の擬似軌道を特徴付けるとともに, 生成内容に関係なく, 強い形状の正則性を持つサンプリング軌道を形成する上で, その重要な役割について論じる。
また、サンプリング時の時間スケジュールを基礎となる軌道構造に適合させる動的プログラミングベースのスキームについても述べる。
この単純な戦略では、任意のODEベースの数値解法に最小限の修正が必要であり、特に5\sim 10$関数評価において、画像生成において優れた性能を提供する一方で、無視可能な計算コストを発生させる。
関連論文リスト
- Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。
物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。
PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
論文 参考訳（メタデータ） (2024-07-10T17:39:50Z) - Weak Generative Sampler to Efficiently Sample Invariant Distribution of Stochastic Differential Equation [8.67581853745823]
現在のディープラーニングに基づく手法は、定常フォッカー-プランク方程式を解き、ディープニューラルネットワークの形で不変確率密度関数を決定する。
本稿では, 弱い生成サンプル(WGS)を用いて, 独立かつ同一に分布したサンプルを直接生成するフレームワークを提案する。
提案した損失関数はFokker-Planck方程式の弱い形式に基づいており、正規化フローを統合して不変分布を特徴づける。
論文 参考訳（メタデータ） (2024-05-29T16:41:42Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳（メタデータ） (2023-11-02T02:05:38Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - From Points to Functions: Infinite-dimensional Representations in
Diffusion Models [23.916417852496608]
拡散に基づく生成モデルは、非構造的雑音を複雑な対象分布に反復的に伝達することを学ぶ。
異なる時間ステップからの情報コンテンツを組み合わせることで、下流のタスクをより正確に表現できることが示される。
論文 参考訳（メタデータ） (2022-10-25T05:30:53Z) - Modeling Continuous Stochastic Processes with Dynamic Normalizing Flows [40.9137348900942]
ウィナー過程の微分変形によって駆動される新しいタイプの流れを提案する。
その結果,観測可能なプロセスが基本プロセスの魅力的な特性の多くを継承するリッチ時系列モデルが得られた。
論文 参考訳（メタデータ） (2020-02-24T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。