論文の概要: Sample-Efficient Training for Diffusion
- arxiv url: http://arxiv.org/abs/2311.13745v1
- Date: Thu, 23 Nov 2023 00:27:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 00:58:33.522988
- Title: Sample-Efficient Training for Diffusion
- Title(参考訳): 拡散のためのサンプル効率トレーニング
- Authors: Shivam Gupta, Aditya Parulekar, Eric Price, Zhiyang Xun
- Abstract要約: 多くの理論的な研究により、拡散モデルが効率よくサンプリングできることが示されており、$L2$-精度のスコア推定を仮定している。
多対数的なサンプル数を用いて、スコアマッチング対象のバウンダリは、真の分布の確率$delta$分数を除いて、すべてで$L2$精度であることを示す。
- 参考スコア(独自算出の注目度): 6.778168189732909
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Score-based diffusion models have become the most popular approach to deep
generative modeling of images, largely due to their empirical performance and
reliability. Recently, a number of theoretical works \citep{chen2022,
Chen2022ImprovedAO, Chenetal23flowode, benton2023linear} have shown that
diffusion models can efficiently sample, assuming $L^2$-accurate score
estimates. The score-matching objective naturally approximates the true score
in $L^2$, but the sample complexity of existing bounds depends
\emph{polynomially} on the data radius and desired Wasserstein accuracy. By
contrast, the time complexity of sampling is only logarithmic in these
parameters. We show that estimating the score in $L^2$ \emph{requires} this
polynomial dependence, but that a number of samples that scales
polylogarithmically in the Wasserstein accuracy actually do suffice for
sampling. We show that with a polylogarithmic number of samples, the ERM of the
score-matching objective is $L^2$ accurate on all but a probability $\delta$
fraction of the true distribution, and that this weaker guarantee is sufficient
for efficient sampling.
- Abstract(参考訳): スコアベースの拡散モデルは、その経験的性能と信頼性から、画像の深層生成モデルに対する最も一般的なアプローチとなっている。
近年,いくつかの理論研究が,l^2$-accurate score 推定を仮定して,拡散モデルが効率的にサンプル化できることを実証している。
スコアマッチングの目的は自然に$L^2$の真のスコアを近似するが、既存の境界のサンプルの複雑さはデータ半径と所望のワッサーシュタイン精度に依存する。
対照的に、サンプリングの時間複雑性はこれらのパラメータの対数のみである。
この多項式依存度は$l^2$ \emph{requires} でスコアを推定するが、ワッサースタイン精度で多対数にスケールする多くのサンプルはサンプリングに十分である。
本研究は, 多対数的なサンプル数を用いて, スコアマッチング対象のERMが真の分布の確率$\delta$分数以外のすべてに対して$L^2$精度であり, より弱い保証は効率的なサンプリングに十分であることを示す。
関連論文リスト
- Optimal score estimation via empirical Bayes smoothing [15.381519485167313]
未知確率分布$rho*$のスコア関数を$n$独立分布および$d$次元における同一分布観測から推定する問題について検討する。
ガウスカーネルに基づく正規化スコア推定器は、一致するミニマックス下界によって最適に示され、この値が得られることを示す。
論文 参考訳(メタデータ) (2024-02-12T16:17:40Z) - Stochastic Approximation Approaches to Group Distributionally Robust
Optimization [96.26317627118912]
群分散ロバスト最適化(GDRO)
オンライン学習技術は、各ラウンドに必要なサンプル数をm$から1$に減らし、同じサンプルを保持する。
分布依存収束率を導出できる重み付きGDROの新規な定式化。
論文 参考訳(メタデータ) (2023-02-18T09:24:15Z) - Improved Analysis of Score-based Generative Modeling: User-Friendly
Bounds under Minimal Smoothness Assumptions [9.953088581242845]
2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。
我々の結果は、対数共空性や機能的不等式を前提としない。
我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
論文 参考訳(メタデータ) (2022-11-03T15:51:00Z) - On-Demand Sampling: Learning Optimally from Multiple Distributions [87.09946206044332]
社会的・現実世界の考察は、協調的、集団的分布的堅牢性、公正な連合学習など、多分野の学習パラダイムを生み出している。
本稿では、これらの学習パラダイムの最適なサンプル複雑性を確立し、このサンプル複雑性を満たすアルゴリズムを提供する。
私たちのアルゴリズムの設計と分析は、プレイヤーの安価なワンオフサンプルやより高価な再利用可能なサンプルへのアクセスをトレードオフできるミラー・ダイスンの拡張によって実現されます。
論文 参考訳(メタデータ) (2022-10-22T19:07:26Z) - Convergence for score-based generative modeling with polynomial
complexity [9.953088581242845]
我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。
以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。
予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
論文 参考訳(メタデータ) (2022-06-13T14:57:35Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳(メタデータ) (2021-10-06T16:58:34Z) - Sample Efficient Model Evaluation [30.72511219329606]
ラベルのないデータポイントの集合が与えられた場合、テストメトリクスをベストに見積もるためにどのサブセットを選択するかに対処する。
本稿では, よく知られたImportance Smplingというサンプリングベースアプローチと,Poisson Smplingの新たな応用を提案する。
論文 参考訳(メタデータ) (2021-09-24T16:03:58Z) - Efficient approximation of experimental Gaussian boson sampling [2.805766654291013]
最近の2つの目覚しい実験は、最大144個の出力モードで、プログラム不可能な線形干渉計としきい値検出器を備えたガウスボソンサンプリング(GBS)を行った。
ここでは、これらの実験よりも全変動距離とクルバック・リーブラーの偏差がよい古典的なサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-09-23T17:47:06Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-05-26T17:53:18Z) - Computationally efficient sparse clustering [67.95910835079825]
我々はPCAに基づく新しいクラスタリングアルゴリズムの有限サンプル解析を行う。
ここでは,ミニマックス最適誤クラスタ化率を,体制$|theta infty$で達成することを示す。
論文 参考訳(メタデータ) (2020-05-21T17:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。