論文の概要: Sampling is as easy as learning the score: theory for diffusion models with minimal data assumptions

• arxiv url: http://arxiv.org/abs/2209.11215v3
• Date: Sat, 15 Apr 2023 22:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 00:16:15.016618
• Title: Sampling is as easy as learning the score: theory for diffusion models with minimal data assumptions
• Title（参考訳）: サンプリングはスコアを学ぶのと同じくらい簡単:最小データ仮定を持つ拡散モデルの理論
• Authors: Sitan Chen, Sinho Chewi, Jerry Li, Yuanzhi Li, Adil Salim, Anru R. Zhang
• Abstract要約: スコアベース生成モデル(SGM)に対する収束保証を提供する。 また、臨界減衰ランゲヴィン拡散(CLD)に基づくSGMについても検討する。
• 参考スコア（独自算出の注目度）: 45.04514545004051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide theoretical convergence guarantees for score-based generative models (SGMs) such as denoising diffusion probabilistic models (DDPMs), which constitute the backbone of large-scale real-world generative models such as DALL$\cdot$E 2. Our main result is that, assuming accurate score estimates, such SGMs can efficiently sample from essentially any realistic data distribution. In contrast to prior works, our results (1) hold for an $L^2$-accurate score estimate (rather than $L^\infty$-accurate); (2) do not require restrictive functional inequality conditions that preclude substantial non-log-concavity; (3) scale polynomially in all relevant problem parameters; and (4) match state-of-the-art complexity guarantees for discretization of the Langevin diffusion, provided that the score error is sufficiently small. We view this as strong theoretical justification for the empirical success of SGMs. We also examine SGMs based on the critically damped Langevin diffusion (CLD). Contrary to conventional wisdom, we provide evidence that the use of the CLD does not reduce the complexity of SGMs.
• Abstract（参考訳）: dall$\cdot$e 2 のような大規模実世界生成モデルのバックボーンを構成するdirising diffusion probabilistic models (ddpms) のようなスコアベース生成モデル (sgm) に対する理論的収束保証を提供する。 我々の主な成果は、正確なスコア推定を仮定すると、そのようなSGMは事実上あらゆる現実的なデータ分布から効率的にサンプリングできるということである。 先行研究とは対照的に,(1)l^2$-accurateスコア推定($l^\infty$-accurateではなく)を保持,(2)実質的な非log-concavityを妨げる制限的機能不等式条件を必要とせず,(3)すべての関連する問題パラメータにおいて多項式的にスケールし,(4)ランジュバン拡散の離散化に関する最先端の複雑性保証を一致させる。 我々はこれをSGMの実証的成功の強い理論的正当化と見なしている。 また,臨界減衰ランゲヴィン拡散(CLD)に基づくSGMについても検討した。 従来の知見とは対照的に,cldの使用はsgmの複雑さを減少させないことを示す。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Convergence guarantee for consistency models [9.893455771918793]
  本稿では,新しい一段階生成モデルであるCM(Consistency Models)の収束保証について述べる。 スコアマッチングエラー、一貫性エラー、データ分布の滑らかさに関する基本的な前提の下で、CMは1ステップで任意の現実的なデータ分布から、小さな$W$エラーで効率的にサンプリングすることができる。
  論文  参考訳（メタデータ） (2023-08-22T13:57:35Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Convergence of the Inexact Langevin Algorithm and Score-based Generative Models in KL Divergence [4.974890682815778]
  Inexact Langevin Dynamics (ILD), Inexact Langevin Algorithm (ILA), and Score-based Generative Modeling (SGM) について検討を行った。
  論文  参考訳（メタデータ） (2022-11-02T23:12:59Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Score-Based Generative Modeling with Critically-Damped Langevin Diffusion [18.82116696636531]
  現在のスコアベース生成モデル(SGM)は、データを徐々にトラクタブルな分布へとゆがめる拡散過程に依存している。 我々は、現在のSGMが過度に単純化された拡散を導入し、不要に複雑な分極過程をもたらすことを論じる。 そこで我々は,CLDに基づくSGMが優れた性能を発揮することを示すために,CLD(Critical-damped Langevin diffusion)を提案する。
  論文  参考訳（メタデータ） (2021-12-14T00:01:34Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。