論文の概要: Improving the Euclidean Diffusion Generation of Manifold Data by Mitigating Score Function Singularity

• arxiv url: http://arxiv.org/abs/2505.09922v1
• Date: Thu, 15 May 2025 03:12:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.160033
• Title: Improving the Euclidean Diffusion Generation of Manifold Data by Mitigating Score Function Singularity
• Title（参考訳）: スコア関数特異性の緩和によるマニフォールドデータのユークリッド拡散生成の改善
• Authors: Zichen Liu, Wei Zhang, Tiejun Li,
• Abstract要約: 一般多様体制約データに対するユークリッド拡散モデルの直接サンプリングについて検討する。 拡散生成サンプルの精度を阻害する多様体の埋め込み空間におけるスコア関数のマルチスケール特異点を明らかにする。 本稿では,特異性を緩和し,サンプリング精度を向上させる2つの新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 7.062379942776126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Euclidean diffusion models have achieved remarkable success in generative modeling across diverse domains, and they have been extended to manifold case in recent advances. Instead of explicitly utilizing the structure of special manifolds as studied in previous works, we investigate direct sampling of the Euclidean diffusion models for general manifold-constrained data in this paper. We reveal the multiscale singularity of the score function in the embedded space of manifold, which hinders the accuracy of diffusion-generated samples. We then present an elaborate theoretical analysis of the singularity structure of the score function by separating it along the tangential and normal directions of the manifold. To mitigate the singularity and improve the sampling accuracy, we propose two novel methods: (1) Niso-DM, which introduces non-isotropic noise along the normal direction to reduce scale discrepancies, and (2) Tango-DM, which trains only the tangential component of the score function using a tangential-only loss function. Numerical experiments demonstrate that our methods achieve superior performance on distributions over various manifolds with complex geometries.
• Abstract（参考訳）: ユークリッド拡散モデルは、様々な領域にわたる生成モデリングにおいて顕著な成功を収めており、近年の進歩で多様体の場合にまで拡張されている。 従来の研究で研究された特殊多様体の構造を明示的に活用する代わりに、一般多様体制約データに対するユークリッド拡散モデルの直接サンプリングについて検討する。 拡散生成サンプルの精度を阻害する多様体の埋め込み空間におけるスコア関数のマルチスケール特異点を明らかにする。 次に、点関数の特異点構造を、多様体の接方向と正規方向に沿って分離することによって、精巧に理論的に解析する。 特異性を緩和し,サンプリング精度を向上させるために,(1)非等方性ノイズを通常の方向に沿って導入するニソDM,(2)スコア関数の接点成分のみを接点限定損失関数で訓練するタンゴDMの2つの新しい手法を提案する。 数値実験により,複素ジオメトリを持つ多様体上の分布において,本手法が優れた性能を発揮することが示された。

関連論文リスト

• Enabling Probabilistic Learning on Manifolds through Double Diffusion Maps [3.081704060720176]
  本稿では,PLoM(Probabilistic Learning on Manifolds)アプローチの拡張に基づく確率的サンプリングのための生成学習フレームワークを提案する。 我々は、システム全体の動的複雑さを保ちながら、潜在空間で直接、全順序ISDEを解く。
  論文  参考訳（メタデータ） (2025-06-02T20:58:49Z)
• Riemannian Denoising Diffusion Probabilistic Models [7.964790563398277]
  関数のレベル集合であるユークリッド空間の部分多様体上の分布を学習するためのRDDPMを提案する。 連続時間限界における手法の理論解析を行う。 提案手法は,過去の研究から得られたデータセットと,新しいサンプルデータセットで実証された。
  論文  参考訳（メタデータ） (2025-05-07T11:37:16Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Sampling and estimation on manifolds using the Langevin diffusion [45.57801520690309]
  離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。 誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
  論文  参考訳（メタデータ） (2023-12-22T18:01:11Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
  一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
  論文  参考訳（メタデータ） (2023-10-11T06:04:40Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• The Manifold Scattering Transform for High-Dimensional Point Cloud Data [16.500568323161563]
  本稿では,自然システムにおけるデータセットへの多様体散乱変換の実装のための実践的スキームを提案する。 本手法は信号の分類や多様体の分類に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-21T02:15:00Z)
• Sample complexity and effective dimension for regression on manifolds [13.774258153124205]
  ヒルベルト空間法を再現したカーネルを用いた多様体上の回帰理論を考える。 多様体上の滑らかな函数のある空間は、多様体次元に応じて拡大する複雑性を持つ実効有限次元であることが示される。
  論文  参考訳（メタデータ） (2020-06-13T14:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。