論文の概要: Polynomial Convergence of Riemannian Diffusion Models
- arxiv url: http://arxiv.org/abs/2601.02499v1
- Date: Mon, 05 Jan 2026 19:14:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-07 17:02:12.696855
- Title: Polynomial Convergence of Riemannian Diffusion Models
- Title(参考訳): リーマン拡散モデルの多項式収束
- Authors: Xingyu Xu, Ziyi Zhang, Yorie Nakahira, Guannan Qu, Yuejie Chi,
- Abstract要約: 拡散モデルは、現代のAIにおける最先端の生成モデルの一つと見なされている。
既存の文献の多くは、基礎となる空間はユークリッド空間であると仮定している。
多くの実践的応用において、データはユークリッド空間の部分多様体上に置かれることに制約される。
- 参考スコア(独自算出の注目度): 46.72936436234762
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have demonstrated remarkable empirical success in the recent years and are considered one of the state-of-the-art generative models in modern AI. These models consist of a forward process, which gradually diffuses the data distribution to a noise distribution spanning the whole space, and a backward process, which inverts this transformation to recover the data distribution from noise. Most of the existing literature assumes that the underlying space is Euclidean. However, in many practical applications, the data are constrained to lie on a submanifold of Euclidean space. Addressing this setting, De Bortoli et al. (2022) introduced Riemannian diffusion models and proved that using an exponentially small step size yields a small sampling error in the Wasserstein distance, provided the data distribution is smooth and strictly positive, and the score estimate is $L_\infty$-accurate. In this paper, we greatly strengthen this theory by establishing that, under $L_2$-accurate score estimate, a {\em polynomially small stepsize} suffices to guarantee small sampling error in the total variation distance, without requiring smoothness or positivity of the data distribution. Our analysis only requires mild and standard curvature assumptions on the underlying manifold. The main ingredients in our analysis are Li-Yau estimate for the log-gradient of heat kernel, and Minakshisundaram-Pleijel parametrix expansion of the perturbed heat equation. Our approach opens the door to a sharper analysis of diffusion models on non-Euclidean spaces.
- Abstract(参考訳): 拡散モデルは近年、顕著な経験的成功を示しており、現代のAIにおける最先端の生成モデルの一つと考えられている。
これらのモデルは、データ分布を空間全体にわたるノイズ分布に徐々に拡散する前処理と、この変換を反転させてノイズからデータ分布を回復する後処理から構成される。
既存の文献の多くは、基礎となる空間はユークリッド空間であると仮定している。
しかし、多くの実践的応用において、データはユークリッド空間の部分多様体上に置かれることに制約される。
この設定に対処するため、De Bortoli et al (2022) はリーマン拡散モデルを導入し、データ分布がスムーズで厳密な正であり、スコア推定が$L_\infty$-精度であることを証明した。
本稿では、この理論を$L_2$-精度のスコア推定の下で、データ分布の滑らかさや肯定性を必要とせず、全変動距離において小さなサンプリング誤差を保証するのに十分であることを示す。
我々の解析は、基礎多様体上の穏やかで標準的な曲率の仮定しか必要としない。
本分析の主成分は熱核の対数勾配のLi-Yau推定と摂動熱方程式のMinakshisundaram-Pleijelparametrix展開である。
我々のアプローチは、非ユークリッド空間上の拡散モデルのよりシャープな解析への扉を開く。
関連論文リスト
- Resolving Memorization in Empirical Diffusion Model for Manifold Data in High-Dimensional Spaces [5.716752583983991]
データ分布がn個の点からなる場合、経験的拡散モデルは既存のデータ点を再現する傾向がある。
本研究は,経験的拡散シミュレーションの最後に慣性更新を適用することで,記憶の問題を解くことができることを示す。
このモデルから得られたサンプルの分布は、次元$d$の$C2$多様体上の真のデータ分布を、位数$O(n-frac2d+4)$のWasserstein-1距離内で近似することを示した。
論文 参考訳(メタデータ) (2025-05-05T09:40:41Z) - On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。
本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
論文 参考訳(メタデータ) (2024-10-19T02:36:11Z) - Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions [6.9408143976091745]
Denoising Diffusion Probabilistic Models (DDPM)は、高次元データ分布から合成データを生成するために使用される強力な最先端手法である。
多様体仮説の下でDDPMを解析し、スコアラーニングの観点で周囲次元に依存しないレートを達成することを証明した。
サンプリング複雑性の観点では、周囲次元 w.r.t, Kullback-Leibler 発散率 w.r.t, $O(sqrtD)$ w.r.t. ワッサーシュタイン距離を求める。
論文 参考訳(メタデータ) (2024-09-27T14:57:18Z) - Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。
我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文 参考訳(メタデータ) (2023-10-30T21:27:53Z) - Conformal inference for regression on Riemannian Manifolds [45.560812800359685]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、共変変数が$X$で、ユークリッド空間にあるときに検討する。
我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文 参考訳(メタデータ) (2023-10-12T10:56:25Z) - Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。
従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。
混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
論文 参考訳(メタデータ) (2023-10-11T06:04:40Z) - Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。
我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。
また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
論文 参考訳(メタデータ) (2023-07-31T06:11:57Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。