論文の概要: Convergence Analysis of Probability Flow ODE for Score-based Generative Models
- arxiv url: http://arxiv.org/abs/2404.09730v1
- Date: Mon, 15 Apr 2024 12:29:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 13:38:59.003424
- Title: Convergence Analysis of Probability Flow ODE for Score-based Generative Models
- Title(参考訳): スコアベース生成モデルにおける確率フローODEの収束解析
- Authors: Daniel Zhengyu Huang, Jiaoyang Huang, Zhengjiang Lin,
- Abstract要約: 確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。
我々は、目標と生成されたデータ分布の総変動を、連続時間レベルで$mathcalO(dsqrtdelta)$で表すことができることを証明した。
ステップサイズ$h$を持つ$p$-thオーダーのRunge-Kuttaインテグレータを使った実用的な実装では、離散レベルで$mathcalO(dsqrtdelta + (dh)p)$のエラー境界を確立する。
- 参考スコア(独自算出の注目度): 5.939858158928473
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score-based generative models have emerged as a powerful approach for sampling high-dimensional probability distributions. Despite their effectiveness, their theoretical underpinnings remain relatively underdeveloped. In this work, we study the convergence properties of deterministic samplers based on probability flow ODEs from both theoretical and numerical perspectives. Assuming access to $L^2$-accurate estimates of the score function, we prove the total variation between the target and the generated data distributions can be bounded above by $\mathcal{O}(d\sqrt{\delta})$ in the continuous time level, where $d$ denotes the data dimension and $\delta$ represents the $L^2$-score matching error. For practical implementations using a $p$-th order Runge-Kutta integrator with step size $h$, we establish error bounds of $\mathcal{O}(d(\sqrt{\delta} + (dh)^p))$ at the discrete level. Finally, we present numerical studies on problems up to $128$ dimensions to verify our theory, which indicate a better score matching error and dimension dependence.
- Abstract(参考訳): スコアベース生成モデルは高次元確率分布をサンプリングするための強力なアプローチとして登場した。
その効果にもかかわらず、理論上の基盤は比較的未発達のままである。
本研究では,確率フローODEに基づく決定論的サンプリング器の収束特性について,理論的および数値的両面から検討する。
スコア関数の$L^2$-正確な推定値にアクセスできると仮定すると、目標と生成されたデータ分布の総変動は、連続時間レベルで$\mathcal{O}(d\sqrt{\delta})$で制限され、$d$はデータ次元を表し、$\delta$は$L^2$-scoreマッチングエラーを表す。
ステップサイズ$h$のRunge-Kutta積分器を$p$-thオーダーで実装する場合、離散レベルで$\mathcal{O}(d(\sqrt{\delta} + (dh)^p))の誤差境界を確立する。
最後に,我々の理論を検証するために,最大128ドルの次元の問題を数値解析し,誤差と次元依存性の整合性を示す。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネル空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
我々は、$epsilon$-covering up $mathcalO(epsilon-frac2dd+2)$に対する計量エントロピーの改善結果を得る。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - Optimal score estimation via empirical Bayes smoothing [15.381519485167313]
未知確率分布$rho*$のスコア関数を$n$独立分布および$d$次元における同一分布観測から推定する問題について検討する。
ガウスカーネルに基づく正規化スコア推定器は、一致するミニマックス下界によって最適に示され、この値が得られることを示す。
論文 参考訳(メタデータ) (2024-02-12T16:17:40Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳(メタデータ) (2023-06-26T17:13:31Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Stochastic Approximation Approaches to Group Distributionally Robust
Optimization [96.26317627118912]
群分散ロバスト最適化(GDRO)
オンライン学習技術は、各ラウンドに必要なサンプル数をm$から1$に減らし、同じサンプルを保持する。
分布依存収束率を導出できる重み付きGDROの新規な定式化。
論文 参考訳(メタデータ) (2023-02-18T09:24:15Z) - Uncertainty Quantification of MLE for Entity Ranking with Covariates [3.2839905453386162]
本稿では,ペア比較に基づくランキング問題の統計的推定と推定について検討する。
我々は、有名なBradley-Terry-Luceモデルを拡張した新しいモデルCAREモデルを提案する。
我々は、スパース比較グラフの下で、$alpha_i*_i=1n$と$beta*$の最大確率推定器を導出する。
大規模数値研究による理論結果の検証と相互資金保有データセットへの適用について検討する。
論文 参考訳(メタデータ) (2022-12-20T02:28:27Z) - Improved Analysis of Score-based Generative Modeling: User-Friendly
Bounds under Minimal Smoothness Assumptions [9.953088581242845]
2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。
我々の結果は、対数共空性や機能的不等式を前提としない。
我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
論文 参考訳(メタデータ) (2022-11-03T15:51:00Z) - An Improved Analysis of Gradient Tracking for Decentralized Machine
Learning [34.144764431505486]
トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。
エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。
ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
論文 参考訳(メタデータ) (2022-02-08T12:58:14Z) - Localization in 1D non-parametric latent space models from pairwise
affinities [6.982738885923206]
対の親和性から一次元トーラスにおける潜伏位置を推定する問題を考察する。
高確率でsqrtlog(n)/n$の順序の最大誤差で全ての潜伏位置を確実にローカライズする推定手順を導入する。
論文 参考訳(メタデータ) (2021-08-06T13:05:30Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳(メタデータ) (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。