論文の概要: Convergence for score-based generative modeling with polynomial
complexity
- arxiv url: http://arxiv.org/abs/2206.06227v1
- Date: Mon, 13 Jun 2022 14:57:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 14:54:48.318937
- Title: Convergence for score-based generative modeling with polynomial
complexity
- Title(参考訳): 多項式複雑性をもつスコアベース生成モデルの収束性
- Authors: Holden Lee and Jianfeng Lu and Yixin Tan
- Abstract要約: 我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。
以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。
予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
- 参考スコア(独自算出の注目度): 9.953088581242845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score-based generative modeling (SGM) is a highly successful approach for
learning a probability distribution from data and generating further samples.
We prove the first polynomial convergence guarantees for the core mechanic
behind SGM: drawing samples from a probability density $p$ given a score
estimate (an estimate of $\nabla \ln p$) that is accurate in $L^2(p)$. Compared
to previous works, we do not incur error that grows exponentially in time or
that suffers from a curse of dimensionality. Our guarantee works for any smooth
distribution and depends polynomially on its log-Sobolev constant. Using our
guarantee, we give a theoretical analysis of score-based generative modeling,
which transforms white-noise input into samples from a learned data
distribution given score estimates at different noise scales. Our analysis
gives theoretical grounding to the observation that an annealed procedure is
required in practice to generate good samples, as our proof depends essentially
on using annealing to obtain a warm start at each step. Moreover, we show that
a predictor-corrector algorithm gives better convergence than using either
portion alone.
- Abstract(参考訳): スコアベース生成モデリング(SGM)は、データから確率分布を学習し、さらなるサンプルを生成するために非常に成功した手法である。
sgm の背後にあるコアメカニックに対する最初の多項式収束性を保証する: 確率密度 $p$ が与えられたスコア推定値 ($\nabla \ln p$ の見積もり) からサンプルを抽出し、$l^2(p)$ で正確であることを証明する。
以前の作品と比較して、私たちは指数関数的に増加するエラーや、次元の呪いに苦しむエラーを犯さない。
この保証は任意の滑らかな分布に対して有効であり、その対数ソボレフ定数に依存する。
保証条件を用いて,音階の異なるスコア推定値から,ホワイトノイズ入力をサンプルに変換するスコアベース生成モデルの理論解析を行った。
提案手法は, 熱処理による各工程の温かいスタート点の獲得に要するので, 有効試料の生成には熱処理が必要であるという理論的な根拠を与える。
さらに,予測子補正アルゴリズムは,どちらの部分のみを使用するよりも収束性が良いことを示す。
関連論文リスト
- On diffusion-based generative models and their error bounds: The
log-concave case with full convergence estimates [3.8447306272420816]
我々は,強い対数空間データ分布を仮定して,拡散に基づく生成モデルの収束挙動を理論的に保証する。
我々は、モチベーションの例を通して、未知の平均を持つガウス分布からサンプリングし、我々のアプローチの強力さを実証する。
この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文 参考訳(メタデータ) (2023-11-22T18:40:45Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Detecting Label Noise via Leave-One-Out Cross Validation [0.0]
クリーンなサンプルと破損したサンプルの混合から実値のノイズラベルを同定し,修正するための簡単なアルゴリズムを提案する。
独立分散を伴う付加的なガウス雑音項をそれぞれと観測されたラベルに関連付けるヘテロ代用ノイズモデルを用いる。
提案手法は, 合成および実世界の科学データを用いた学習において, 劣化したサンプルを特定でき, より良い回帰モデルが得られることを示す。
論文 参考訳(メタデータ) (2021-03-21T10:02:50Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-05-26T17:53:18Z) - Learning Entangled Single-Sample Distributions via Iterative Trimming [28.839136703139225]
そこで本研究では, 反復トリミング標本に基づいて, 簡便かつ効率的な手法を解析し, トリミング標本集合上のパラメータを再推定する。
対数反復法では, 誤差が$lceil alpha n rceil$-th ノイズ点の雑音レベルにのみ依存する推定値が出力されることを示す。
論文 参考訳(メタデータ) (2020-04-20T18:37:43Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳(メタデータ) (2020-02-21T14:03:16Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳(メタデータ) (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。