論文の概要: DDPM Score Matching and Distribution Learning

• arxiv url: http://arxiv.org/abs/2504.05161v1
• Date: Mon, 07 Apr 2025 15:07:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 15:38:25.590802
• Title: DDPM Score Matching and Distribution Learning
• Title（参考訳）: DDPMスコアマッチングと分布学習
• Authors: Sinho Chewi, Alkis Kalavasis, Anay Mehrotra, Omar Montasser,
• Abstract要約: スコア推定はスコアベース生成モデル(SGM)のバックボーンである 本稿では,パラメータと密度推定のタスクに対するスコア推定を削減したフレームワークを提案する。 我々は,H"クラスに対する密度推定のための最小値と準多項式PAC密度推定アルゴリズムを提供する。
• 参考スコア（独自算出の注目度）: 24.341062891949953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score estimation is the backbone of score-based generative models (SGMs), especially denoising diffusion probabilistic models (DDPMs). A key result in this area shows that with accurate score estimates, SGMs can efficiently generate samples from any realistic data distribution (Chen et al., ICLR'23; Lee et al., ALT'23). This distribution learning result, where the learned distribution is implicitly that of the sampler's output, does not explain how score estimation relates to classical tasks of parameter and density estimation. This paper introduces a framework that reduces score estimation to these two tasks, with various implications for statistical and computational learning theory: Parameter Estimation: Koehler et al. (ICLR'23) demonstrate that a score-matching variant is statistically inefficient for the parametric estimation of multimodal densities common in practice. In contrast, we show that under mild conditions, denoising score-matching in DDPMs is asymptotically efficient. Density Estimation: By linking generation to score estimation, we lift existing score estimation guarantees to $(\epsilon,\delta)$-PAC density estimation, i.e., a function approximating the target log-density within $\epsilon$ on all but a $\delta$-fraction of the space. We provide (i) minimax rates for density estimation over H\"older classes and (ii) a quasi-polynomial PAC density estimation algorithm for the classical Gaussian location mixture model, building on and addressing an open problem from Gatmiry et al. (arXiv'24). Lower Bounds for Score Estimation: Our framework offers the first principled method to prove computational lower bounds for score estimation across general distributions. As an application, we establish cryptographic lower bounds for score estimation in general Gaussian mixture models, conceptually recovering Song's (NeurIPS'24) result and advancing his key open problem.
• Abstract（参考訳）: スコア推定はスコアベース生成モデル(SGM)、特に拡散確率モデル(DDPM)のバックボーンである。 この領域における重要な結果は、正確なスコア推定によって、SGMは任意の現実的なデータ分布(Chen et al , ICLR'23; Lee et al , ALT'23)からサンプルを効率的に生成できることを示している。 学習した分布がサンプルの出力の暗黙的な分布であるこの分布学習結果は、スコア推定がパラメータや密度推定の古典的なタスクとどのように関係しているかを説明できない。 パラメータ推定: Koehler et al (ICLR'23) は、実際に一般的なマルチモーダル密度のパラメトリック推定に対して、スコアマッチング変異が統計的に非効率であることを示す。 対照的に、軽度条件下では、DDPMのスコアマッチングは漸近的に効率的であることを示す。 密度推定: 生成をスコア推定にリンクすることで、既存のスコア推定保証を$(\epsilon,\delta)$-PACの密度推定(つまり、空間の$\delta$-fractionを除くすべての上で、ターゲットのログ密度を近似する関数)に上げます。 提供 (i)H\"古いクラスと密度推定のためのミニマックスレート (II)ガウスの位置混合モデルに対する準多項式PAC密度推定アルゴリズム(arXiv'24) スコア推定のための下界: 一般分布におけるスコア推定の計算下界を証明するための第一原理的手法を提供する。 応用として、一般ガウス混合モデルにおけるスコア推定のための暗号の下限を確立し、概念的にSongの結果(NeurIPS'24)を復元し、キーとなるオープン問題を推し進める。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions [5.801621787540268]
  標準ガウス測度に対する相対密度の観点から確率分布の複雑性の概念を導入する。 パラメータが適切に有界なニューラルネットワークで対数相対密度を局所的に近似できるなら、経験的スコアマッチングによって生成された分布はターゲット分布を近似する。 本証明の重要な要素は,前処理に付随する真のスコア関数に対する次元自由深部ニューラルネットワーク近似率を導出することである。
  論文  参考訳（メタデータ） (2024-02-12T22:02:23Z)
• An analysis of the noise schedule for score-based generative models [7.180235086275926]
  スコアベース生成モデル(SGM)は、目標からのノイズ摂動サンプルのみを用いてスコア関数を学習することにより、目標データ分布を推定することを目的としている。 近年の文献では、ターゲットと推定分布の誤差を評価し、KL(Kulback-Leibler)の発散とワッサーシュタイン距離を通じて生成品質を測ることに重点を置いている。 対象と推定分布のKL分散の上限を時間依存ノイズスケジュールによって明確に設定する。
  論文  参考訳（メタデータ） (2024-02-07T08:24:35Z)
• On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
  我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
  論文  参考訳（メタデータ） (2023-11-22T18:40:45Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)
• A General Method for Robust Learning from Batches [56.59844655107251]
  本稿では,バッチから頑健な学習を行う一般的なフレームワークについて考察し,連続ドメインを含む任意の領域に対する分類と分布推定の限界について考察する。 本手法は,一括分節分類,一括分節,単調,対数凹,ガウス混合分布推定のための,最初の頑健な計算効率の学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-02-25T18:53:25Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。