論文の概要: Diffusion Removes Langevin's Conditioning Dependence: A Sharp Gaussian Analysis
- arxiv url: http://arxiv.org/abs/2610.12052v1
- Date: Thu, 08 Oct 2026 14:36:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.080832
- Title: Diffusion Removes Langevin's Conditioning Dependence: A Sharp Gaussian Analysis
- Title（参考訳）: 拡散はランゲヴィンの条件依存を除去する:シャープガウス解析
- Abstract要約: 拡散過程がサンプリング誤差を$O(sqrtd_maxlog N/N)$,$d$が寸法,$N$がサンプリングステップ数,$_max$がターゲット共分散行列の最大固有値であることを示す。
また、勾配降下による無雑音スコアの推定は、ノイズスコアの推定と基本的に同じ推定結果となり、ノイズの利点は学習段階から来ないことが示唆された。
- 参考スコア（独自算出の注目度）: 9.153087371271118
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their empirical success, why diffusion models overcome the bottlenecks of classical score-based samplers remains unclear. In this work, we leverage Gaussian distributions to isolate this phenomenon. We establish 2-Wasserstein convergence bounds for optimized hyperparameters, showing that diffusion processes achieve a sampling error of $O(\sqrt{dλ_{\max}}\log N/N)$, where $d$ is the dimension, $N$ the number of sampling steps, and $λ_{\max}$ the largest eigenvalue of the target covariance matrix. Unadjusted and underdamped Langevin dynamics suffer from an additional $\sqrtκ$ factor, where $κ$ is the condition number. These rates follow from spectral bounds which are sharp: we confirm them via matching first-order asymptotics as $N\rightarrow\infty$. Our analysis provides a rigorous characterization, in the Gaussian setting, of how time-dependent score trajectories remove condition-number dependence during sampling. By contrast, in the learning phase, we show that estimating the unnoised score by gradient descent leads to essentially the same estimator as estimating a noisy score, which suggests that the benefits of noising do not come from the learning phase.
- Abstract（参考訳）: 実験的な成功にもかかわらず、なぜ拡散モデルが古典的なスコアベースのサンプリングのボトルネックを克服したのかは定かではない。
本研究ではガウス分布を利用してこの現象を分離する。
最適化されたハイパーパラメータに対して2-ワッサーシュタイン収束境界を確立し、拡散過程が$O(\sqrt{dλ_{\max}}\log N/N)$,$d$が次元、$N$がサンプリングステップの数、$λ_{\max}$がターゲット共分散行列の最大の固有値であることを示す。
調整されていないランゲヴィン力学は、$κ$が条件数であるような追加の$\sqrtκ$因子に悩まされる。
これらの値は、シャープなスペクトル境界から従う: 1次漸近式をマッチングして、$N\rightarrow\infty$と確認する。
本分析は,時間依存スコアトラジェクトリがサンプリング中の条件数依存性を除去する方法を,ガウス的な設定で厳密に評価する。
対照的に, 学習段階において, 勾配降下による無雑音スコアの推定は, ノイズスコアの推定と基本的に同じ推定結果をもたらすことが示され, 雑音の利点は学習段階から来ないことが示唆された。
関連論文リスト
- WEIRDO: WEak resIdual Regularized DOob's h-transform diffusion alignment [0.0]
本研究では,拡散生成モデルを用いて学習した分布を推定する方法について検討する。
得られた誘導推定値の2乗誤差に基づいて高確率境界を導出する。
論文 参考訳（メタデータ） (2026-09-30T11:32:29Z) - When Does $\ell_2$-Boosting Overfit Benignly? High-Dimensional Risk Asymptotics and the $\ell_1$ Implicit Bias [15.113649527486276]
良性オーバーフィッティングが線形レートで失敗することを示します。
この局所化機構は信号の存在下で持続するべきであるが、正確な信号-雑音分解は未解決の問題である。
論文 参考訳（メタデータ） (2026-05-07T14:14:09Z) - Optimal Convergence Analysis of DDPM for General Distributions [11.155024379105788]
Denoising Diffusion Probabilistic Model (DDPM)は最も広く使われているサンプルの一つである。
DDPM試料の精密収束解析を行った。
我々の収束解析は、広範囲な対象分布に対して厳密であることを示す。
論文 参考訳（メタデータ） (2025-10-31T15:44:50Z) - Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳（メタデータ） (2020-07-22T18:18:28Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。