論文の概要: From Score Matching to Diffusion: A Fine-Grained Error Analysis in the Gaussian Setting
- arxiv url: http://arxiv.org/abs/2503.11615v2
- Date: Fri, 23 May 2025 12:56:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 15:51:02.885765
- Title: From Score Matching to Diffusion: A Fine-Grained Error Analysis in the Gaussian Setting
- Title（参考訳）: スコアマッチングから拡散へ:ガウス設定における細粒度誤差解析
- Authors: Samuel Hurault, Matthieu Terris, Thomas Moreau, Gabriel Peyré,
- Abstract要約: We show that the Wasserstein sample error can be expressed as a kernel-type norm of the data power spectrum。
We show that the Wasserstein sample error can be expressed as a kernel-type norm of the data power spectrum。
- 参考スコア（独自算出の注目度）: 25.21429354164613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sampling from an unknown distribution, accessible only through discrete samples, is a fundamental problem at the core of generative AI. The current state-of-the-art methods follow a two-step process: first, estimating the score function (the gradient of a smoothed log-distribution) and then applying a diffusion-based sampling algorithm -- such as Langevin or Diffusion models. The resulting distribution's correctness can be impacted by four major factors: the generalization and optimization errors in score matching, and the discretization and minimal noise amplitude in the diffusion. In this paper, we make the sampling error explicit when using a diffusion sampler in the Gaussian setting. We provide a sharp analysis of the Wasserstein sampling error that arises from these four error sources. This allows us to rigorously track how the anisotropy of the data distribution (encoded by its power spectrum) interacts with key parameters of the end-to-end sampling method, including the number of initial samples, the stepsizes in both score matching and diffusion, and the noise amplitude. Notably, we show that the Wasserstein sampling error can be expressed as a kernel-type norm of the data power spectrum, where the specific kernel depends on the method parameters. This result provides a foundation for further analysis of the tradeoffs involved in optimizing sampling accuracy.
- Abstract（参考訳）: 離散的なサンプルを通してのみアクセス可能な未知の分布からサンプリングすることは、生成AIのコアにおける根本的な問題である。
最初はスコア関数(スムーズなログ分布の勾配)を推定し、次にランゲヴィンやディフュージョンモデルのような拡散に基づくサンプリングアルゴリズムを適用する。
結果の分布の正しさは、スコアマッチングにおける一般化と最適化の誤差、拡散における離散化と最小ノイズ振幅の4つの主要な要因によって影響を受ける。
本稿では,ガウス空間における拡散サンプリング器を用いた場合のサンプリング誤差を明示する。
これら4つの誤差源から生じるワッサーシュタインサンプリング誤差を鋭く解析する。
これにより、データ分布の異方性(パワースペクトルで符号化された)が、初期サンプル数、スコアマッチングと拡散の両方におけるステップサイズ、ノイズ振幅といった、エンド・ツー・エンドサンプリング法のキーパラメータとどのように相互作用するかを厳格に追跡することができる。
特に、ワッサースタインサンプリング誤差は、特定のカーネルがメソッドパラメータに依存するデータパワースペクトルのカーネル型ノルムとして表現できることを示す。
この結果はサンプリング精度の最適化に関わるトレードオフをさらに分析するための基盤となる。
関連論文リスト
- Sampling through Algorithmic Diffusion in non-convex Perceptron problems [2.860608352191896]
複製法に基づく形式化を導入し,数桁のパラメータで実現可能性を示す。
負の安定性を持つパーセプトロン問題の場合、レプリカ領域全体にわたって近似均一サンプリングが達成可能であることを示す。
対照的に、二元パーセプトロンの場合、典型的な解の集合によって示される重なり合いのギャップ特性により拡散による一様サンプリングは必ず失敗する。
論文 参考訳（メタデータ） (2025-02-22T16:43:01Z) - Distributional Diffusion Models with Scoring Rules [83.38210785728994]
拡散モデルは高品質な合成データを生成する。
高品質な出力を生成するには、多くの離散化ステップが必要です。
クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
論文 参考訳（メタデータ） (2025-02-04T16:59:03Z) - On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。
本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers [49.1574468325115]
決定論的サンプリングのための統合収束分析フレームワークを提案する。
我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。
また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
論文 参考訳（メタデータ） (2024-10-18T07:37:36Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。
確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文 参考訳（メタデータ） (2023-03-06T18:59:19Z) - Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
観測結果からサンプリング分布を学習する4つの方法を提案する。
実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2023-02-02T15:50:21Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳（メタデータ） (2021-10-06T16:58:34Z) - SNIPS: Solving Noisy Inverse Problems Stochastically [25.567566997688044]
本稿では,線形逆問題の後部分布からサンプルを抽出するSNIPSアルゴリズムを提案する。
我々の解はランゲヴィン力学とニュートン法からのアイデアを取り入れ、事前訓練された最小二乗誤差(MMSE)を利用する。
得られたサンプルは、与えられた測定値と鋭く、詳細で一致しており、それらの多様性は、解決される逆問題に固有の不確実性を明らかにする。
論文 参考訳（メタデータ） (2021-05-31T13:33:21Z) - Learning Entangled Single-Sample Distributions via Iterative Trimming [28.839136703139225]
そこで本研究では, 反復トリミング標本に基づいて, 簡便かつ効率的な手法を解析し, トリミング標本集合上のパラメータを再推定する。
対数反復法では, 誤差が$lceil alpha n rceil$-th ノイズ点の雑音レベルにのみ依存する推定値が出力されることを示す。
論文 参考訳（メタデータ） (2020-04-20T18:37:43Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳（メタデータ） (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。