論文の概要: Improved Convergence of Score-Based Diffusion Models via
Prediction-Correction
- arxiv url: http://arxiv.org/abs/2305.14164v1
- Date: Tue, 23 May 2023 15:29:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 15:12:37.653229
- Title: Improved Convergence of Score-Based Diffusion Models via
Prediction-Correction
- Title（参考訳）: 予測補正によるスコアベース拡散モデルの収束性の向上
- Authors: Francesco Pedrotti, Jan Maas, Marco Mondelli
- Abstract要約: 我々は、ワッサーシュタイン距離において、有限時間だけフォワードプロセスを実行する必要がある収束保証を提供する。
我々の境界は、入力次元と目標分布の準ガウスノルムに緩やかな対数依存を示し、データに最小限の仮定を持ち、スコア近似における$L2$損失を制御する必要がある。
- 参考スコア（独自算出の注目度）: 14.186776881154127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score-based generative models (SGMs) are powerful tools to sample from
complex data distributions. Their underlying idea is to (i) run a forward
process for time $T_1$ by adding noise to the data, (ii) estimate its score
function, and (iii) use such estimate to run a reverse process. As the reverse
process is initialized with the stationary distribution of the forward one, the
existing analysis paradigm requires $T_1\to\infty$. This is however
problematic: from a theoretical viewpoint, for a given precision of the score
approximation, the convergence guarantee fails as $T_1$ diverges; from a
practical viewpoint, a large $T_1$ increases computational costs and leads to
error propagation. This paper addresses the issue by considering a version of
the popular predictor-corrector scheme: after running the forward process, we
first estimate the final distribution via an inexact Langevin dynamics and then
revert the process. Our key technical contribution is to provide convergence
guarantees in Wasserstein distance which require to run the forward process
only for a finite time $T_1$. Our bounds exhibit a mild logarithmic dependence
on the input dimension and the subgaussian norm of the target distribution,
have minimal assumptions on the data, and require only to control the $L^2$
loss on the score approximation, which is the quantity minimized in practice.
- Abstract（参考訳）: スコアベース生成モデル(SGM)は、複雑なデータ分布からサンプリングする強力なツールである。
その根底にある考え方は
(i)データにノイズを加えることで、時間$T_1$のフォワードプロセスを実行する。
(ii)スコア関数を推定し、
(iii)そのような推定を用いて逆プロセスを実行する。
逆プロセスはフォワードの定常分布で初期化されるので、既存の分析パラダイムは$t_1\to\infty$を必要とする。
理論的には、スコア近似の所定の精度について、収束保証は$T_1$が分岐すると失敗し、実際的な観点からは、大きな$T_1$が計算コストを増大させ、エラーの伝播をもたらす。
本稿では,一般的な予測器-補正スキームのバージョンを考えることでこの問題に対処した。前方プロセスを実行した後,まず不正確なランジュバンダイナミクスを用いて最終分布を推定し,その後プロセスを反転させる。
私たちの重要な技術的貢献は、有限時間$t_1$だけフォワードプロセスを実行する必要のあるwasserstein距離での収束保証を提供することです。
我々の境界線は、入力次元とターゲット分布の準ガウスノルムに緩やかな対数依存を示し、データに最小の仮定を持ち、実際に最小化された量であるスコア近似の損失をL^2$制御することしか必要としない。
関連論文リスト
- $O(d/T)$ Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
我々は、最小限の仮定の下で、人気のあるSDEベースのサンプルラーに対して高速収束理論を確立する。
解析の結果, スコア関数の$ell_2$-accurate推定値が与えられた場合, 対象分布と生成分布の総変動距離は$O(d/T)$で上限値となることがわかった。
これは、逆プロセスの各ステップでエラーがどのように伝播するかの詳細な特徴を提供する、新しい分析ツールセットによって達成される。
論文 参考訳（メタデータ） (2024-09-27T17:59:10Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
拡散型サンプリング器の非漸近収束理論を開発する。
我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。
我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
論文 参考訳（メタデータ） (2024-08-05T09:02:24Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient [40.22217106270146]
ばらつき低減技術はサンプリングのばらつきを低減し、一階法(FO)とゼロ階法(ZO)の収束率を向上するように設計されている。
複合最適化問題において、ZO法は、ランダム推定から導かれる座標ワイド分散と呼ばれる追加の分散に遭遇する。
本稿では,ZPDVR法とZPDVR法を提案する。
論文 参考訳（メタデータ） (2024-05-28T02:27:53Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Convergence for score-based generative modeling with polynomial
complexity [9.953088581242845]
我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。
以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。
予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
論文 参考訳（メタデータ） (2022-06-13T14:57:35Z) - Improved Convergence Rates for Sparse Approximation Methods in
Kernel-Based Learning [48.08663378234329]
カーネル・リッジ・レグレッションやガウシアン・プロセスのようなカーネル・ベース・モデルは機械学習の応用においてユビキタスである。
既存のスパース近似法は計算コストを大幅に削減することができる。
我々は,Nystr"om法と疎変動ガウス過程近似法に対して,新しい信頼区間を提供する。
論文 参考訳（メタデータ） (2022-02-08T17:22:09Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。