論文の概要: Improved Analysis of Score-based Generative Modeling: User-Friendly
Bounds under Minimal Smoothness Assumptions
- arxiv url: http://arxiv.org/abs/2211.01916v1
- Date: Thu, 3 Nov 2022 15:51:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 13:43:48.087362
- Title: Improved Analysis of Score-based Generative Modeling: User-Friendly
Bounds under Minimal Smoothness Assumptions
- Title(参考訳): スコアベース生成モデルの改良:最小スムースネス推定に基づくユーザフレンドリな境界
- Authors: Hongrui Chen, Holden Lee, Jianfeng Lu
- Abstract要約: 2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。
我々の結果は、対数共空性や機能的不等式を前提としない。
我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
- 参考スコア(独自算出の注目度): 9.953088581242845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we focus on the theoretical analysis of diffusion-based
generative modeling. Under an $L^2$-accurate score estimator, we provide
convergence guarantees with polynomial complexity for any data distribution
with second-order moment, by either employing an early stopping technique or
assuming smoothness condition on the score function of the data distribution.
Our result does not rely on any log-concavity or functional inequality
assumption and has a logarithmic dependence on the smoothness. In particular,
we show that under only a finite second moment condition, approximating the
following in KL divergence in $\epsilon$-accuracy can be done in $\tilde
O\left(\frac{d^2 \log^2 (1/\delta)}{\epsilon^2}\right)$ steps: 1) the
variance-$\delta$ Gaussian perturbation of any data distribution; 2) data
distributions with $1/\delta$-smooth score functions. Our theoretical analysis
also provides quantitative comparison between different discrete approximations
and may guide the choice of discretization points in practice.
- Abstract(参考訳): 本稿では拡散に基づく生成モデルの理論解析に焦点をあてる。
L^2$-精度スコア推定器の下では,2次モーメントを持つデータ分布に対して,早期停止手法を用いるか,データ分布のスコア関数上での滑らかさ条件を仮定することにより,多項式複雑性を伴う収束保証を提供する。
この結果は任意の対数連結性や関数不等式を前提とせず、滑らかさに対数依存性を持つ。
特に、有限第二モーメント条件の下では、KL の発散を $\epsilon$-accuracy で近似することは $\tilde O\left(\frac{d^2 \log^2 (1/\delta)}{\epsilon^2}\right)$ steps で行うことができる。
1) 任意のデータ分布の分散-$\delta$ gaussian摂動
2) 1/\delta$-smoothスコア関数を持つデータ分布。
我々の理論解析は、異なる離散近似の定量的比較も提供し、実際の離散化点の選択を導くかもしれない。
関連論文リスト
- Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic
Localization [40.808942894229325]
データ次元において線形である第1収束境界を提供する。
拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
論文 参考訳(メタデータ) (2023-08-07T16:01:14Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Bi-stochastically normalized graph Laplacian: convergence to manifold
Laplacian and robustness to outlier noise [8.271859911016719]
双構造正規化グラフ Laplacian to manifold (weighted-)Laplacian は Sinkhorn-Knopp (SK) の反復によって効率的に計算できる。
多様体データが外乱ノイズによって破壊されるとき、理論的にはラプラシア点の整合性を証明する。
論文 参考訳(メタデータ) (2022-06-22T21:08:24Z) - Statistical Inference of Constrained Stochastic Optimization via
Sketched Sequential Quadratic Programming [59.36379287247961]
この問題を解決するために,完全オンライン逐次2次プログラミング(StoSQP)手法を開発した。
最近の数値二階法の設計により、StoSQPは任意のランダムなステップサイズを適応的に選択できる。
また,2次法の計算コストを大幅に削減するため,StoSQPはランダム化反復解法を用いて2次プログラムを不正確に解けるようにした。
論文 参考訳(メタデータ) (2022-05-27T00:34:03Z) - Distributed Sparse Regression via Penalization [5.990069843501885]
エージェントのネットワーク上の線形回帰を、(集中ノードを持たない)無向グラフとしてモデル化する。
推定問題は、局所的なLASSO損失関数の和とコンセンサス制約の2次ペナルティの最小化として定式化される。
本稿では, ペナル化問題に適用した近似勾配アルゴリズムが, 集中的な統計的誤差の順序の許容値まで線形に収束することを示す。
論文 参考訳(メタデータ) (2021-11-12T01:51:50Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳(メタデータ) (2021-09-08T18:00:05Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳(メタデータ) (2021-02-20T13:45:11Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳(メタデータ) (2021-02-05T14:02:20Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳(メタデータ) (2020-10-19T15:23:18Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳(メタデータ) (2020-06-09T02:05:40Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳(メタデータ) (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。