論文の概要: From Denoising Score Matching to Langevin Sampling: A Fine-Grained Error Analysis in the Gaussian Setting

• arxiv url: http://arxiv.org/abs/2503.11615v1
• Date: Fri, 14 Mar 2025 17:35:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:05:35.989178
• Title: From Denoising Score Matching to Langevin Sampling: A Fine-Grained Error Analysis in the Gaussian Setting
• Title（参考訳）: スコアマッチングからランゲヴィンサンプリングへ:ガウス設定における細粒度誤差解析
• Authors: Samuel Hurault, Matthieu Terris, Thomas Moreau, Gabriel Peyré,
• Abstract要約: 本稿では,Langevin 拡散サンプリング装置を用いて,単純だが代表的な設定でサンプリング過程を解析する。 We show that the Wasserstein sample error can be expressed as a kernel-type norm of the data power spectrum。
• 参考スコア（独自算出の注目度）: 25.21429354164613
• License:
• Abstract: Sampling from an unknown distribution, accessible only through discrete samples, is a fundamental problem at the core of generative AI. The current state-of-the-art methods follow a two-step process: first estimating the score function (the gradient of a smoothed log-distribution) and then applying a gradient-based sampling algorithm. The resulting distribution's correctness can be impacted by several factors: the generalization error due to a finite number of initial samples, the error in score matching, and the diffusion error introduced by the sampling algorithm. In this paper, we analyze the sampling process in a simple yet representative setting-sampling from Gaussian distributions using a Langevin diffusion sampler. We provide a sharp analysis of the Wasserstein sampling error that arises from the multiple sources of error throughout the pipeline. This allows us to rigorously track how the anisotropy of the data distribution (encoded by its power spectrum) interacts with key parameters of the end-to-end sampling method, including the noise amplitude, the step sizes in both score matching and diffusion, and the number of initial samples. Notably, we show that the Wasserstein sampling error can be expressed as a kernel-type norm of the data power spectrum, where the specific kernel depends on the method parameters. This result provides a foundation for further analysis of the tradeoffs involved in optimizing sampling accuracy, such as adapting the noise amplitude to the choice of step sizes.
• Abstract（参考訳）: 離散的なサンプルを通してのみアクセス可能な未知の分布からサンプリングすることは、生成AIのコアにおける根本的な問題である。 現在の最先端法は2段階のプロセスに従っており、まずスコア関数(スムーズなログ分布の勾配)を推定し、次に勾配に基づくサンプリングアルゴリズムを適用する。 結果の分布の正しさは、有限個の初期サンプルによる一般化誤差、スコアマッチングにおける誤差、サンプリングアルゴリズムによって導入された拡散誤差など、いくつかの要因によって影響を受ける。 本稿では,Langevin 拡散サンプリング装置を用いて,ガウス分布から単純だが代表的な設定サンプリングを行い,サンプリング過程を解析する。 パイプライン全体の複数のエラー源から発生するワッサースタインサンプリング誤差を鋭く解析する。 これにより,データ分布の異方性(パワースペクトルで符号化された)が,ノイズ振幅,スコアマッチングと拡散におけるステップサイズ,初期サンプル数など,エンド・ツー・エンドサンプリング法の主要なパラメータとどのように相互作用するかを,厳密に追跡することができる。 特に、ワッサースタインサンプリング誤差は、特定のカーネルがメソッドパラメータに依存するデータパワースペクトルのカーネル型ノルムとして表現できることを示す。 この結果は、ノイズ振幅をステップサイズの選択に適応させるなど、サンプリング精度の最適化に関わるトレードオフをさらに分析するための基盤となる。

関連論文リスト

• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Enhancing Diffusion Posterior Sampling for Inverse Problems by Integrating Crafted Measurements [45.70011319850862]
  拡散モデルは視覚生成のための強力な基礎モデルとして登場してきた。 現在の後方サンプリングに基づく手法では、測定結果を後方サンプリングに取り込み、対象データの分布を推定する。 本研究は, 早期に高周波情報を早期に導入し, より大きい推定誤差を生じさせることを示す。 工芸品計測を取り入れた新しい拡散後サンプリング手法DPS-CMを提案する。
  論文  参考訳（メタデータ） (2024-11-15T00:06:57Z)
• Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers [49.1574468325115]
  決定論的サンプリングのための統合収束分析フレームワークを提案する。 我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。 また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
  論文  参考訳（メタデータ） (2024-10-18T07:37:36Z)
• Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
  ポテンシャル関数が支配する分布からサンプリングする問題を考察する。 本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
  論文  参考訳（メタデータ） (2023-08-28T23:51:33Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
  観測結果からサンプリング分布を学習する4つの方法を提案する。 実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:50:21Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• SNIPS: Solving Noisy Inverse Problems Stochastically [25.567566997688044]
  本稿では,線形逆問題の後部分布からサンプルを抽出するSNIPSアルゴリズムを提案する。 我々の解はランゲヴィン力学とニュートン法からのアイデアを取り入れ、事前訓練された最小二乗誤差(MMSE)を利用する。 得られたサンプルは、与えられた測定値と鋭く、詳細で一致しており、それらの多様性は、解決される逆問題に固有の不確実性を明らかにする。
  論文  参考訳（メタデータ） (2021-05-31T13:33:21Z)
• Learning Entangled Single-Sample Distributions via Iterative Trimming [28.839136703139225]
  そこで本研究では, 反復トリミング標本に基づいて, 簡便かつ効率的な手法を解析し, トリミング標本集合上のパラメータを再推定する。 対数反復法では, 誤差が$lceil alpha n rceil$-th ノイズ点の雑音レベルにのみ依存する推定値が出力されることを示す。
  論文  参考訳（メタデータ） (2020-04-20T18:37:43Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。