論文の概要: Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes

• arxiv url: http://arxiv.org/abs/2310.07216v2
• Date: Sun, 2 Jun 2024 18:31:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:41:02.607294
• Title: Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes
• Title（参考訳）: リーマン拡散過程の混合による多様体の生成モデリング
• Authors: Jaehyeong Jo, Sung Ju Hwang,
• Abstract要約: 一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
• 参考スコア（独自算出の注目度）: 57.396578974401734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning the distribution of data on Riemannian manifolds is crucial for modeling data from non-Euclidean space, which is required by many applications in diverse scientific fields. Yet, existing generative models on manifolds suffer from expensive divergence computation or rely on approximations of heat kernel. These limitations restrict their applicability to simple geometries and hinder scalability to high dimensions. In this work, we introduce the Riemannian Diffusion Mixture, a principled framework for building a generative diffusion process on manifolds. Instead of following the denoising approach of previous diffusion models, we construct a diffusion process using a mixture of bridge processes derived on general manifolds without requiring heat kernel estimations. We develop a geometric understanding of the mixture process, deriving the drift as a weighted mean of tangent directions to the data points that guides the process toward the data distribution. We further propose a scalable training objective for learning the mixture process that readily applies to general manifolds. Our method achieves superior performance on diverse manifolds with dramatically reduced number of in-training simulation steps for general manifolds.
• Abstract（参考訳）: リーマン多様体上のデータの分布を学習することは、ユークリッド空間からのデータモデリングに不可欠である。 しかし、多様体上の既存の生成モデルは、高価な分散計算に悩まされるか、熱核の近似に依存する。 これらの制限は、単純なジオメトリの適用性を制限し、高次元へのスケーラビリティを妨げる。 本研究では、多様体上の生成拡散過程を構築するための原理的枠組みであるリーマン拡散混合を導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、熱核推定を必要とせず、一般多様体上で導かれるブリッジプロセスの混合を用いて拡散過程を構築する。 本研究では, 混合過程の幾何学的理解を発展させ, ドリフトを接する方向の重み付け平均として導出し, その過程をデータ分布へ導くデータポイントに導出する。 さらに、一般多様体に容易に適用可能な混合過程を学ぶためのスケーラブルな学習目標を提案する。 本手法は, 一般多様体に対するイントレーニングシミュレーションのステップ数を劇的に減らした多様多様体上での優れた性能を実現する。

関連論文リスト

• Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
  離散拡散における「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 CIFAR-10データセットで事前学習した連続時間離散拡散モデルを蒸留することにより,提案手法が実際に動作することを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-11T10:53:03Z)
• Score matching for sub-Riemannian bridge sampling [2.048226951354646]
  機械学習の最近の進歩は、サブリーマン勾配上でのスコア近似器のトレーニングを可能にするために修正することができる。 本研究では,ハイゼンベルク層群における橋梁プロセスの試料の数値実験を行い,その濃度を短時間で測定した。
  論文  参考訳（メタデータ） (2024-04-23T17:45:53Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
  拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。 これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。 我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• A Heat Diffusion Perspective on Geodesic Preserving Dimensionality Reduction [66.21060114843202]
  熱測地線埋め込みと呼ばれるより一般的な熱カーネルベースの多様体埋め込み法を提案する。 その結果,本手法は,地中真理多様体距離の保存において,既存の技術よりも優れていることがわかった。 また,連続体とクラスタ構造を併用した単一セルRNAシークエンシングデータセットに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-30T13:58:50Z)
• Riemannian Diffusion Models [11.306081315276089]
  拡散モデルは画像生成と推定のための最新の最先端手法である。 本研究では、連続時間拡散モデルを任意のリーマン多様体に一般化する。 提案手法は,全てのベンチマークにおいて新しい最先端の可能性を実現する。
  論文  参考訳（メタデータ） (2022-08-16T21:18:31Z)
• Riemannian Score-Based Generative Modeling [56.20669989459281]
  経験的性能を示すスコアベース生成モデル(SGM)を紹介する。 現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。 これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
  論文  参考訳（メタデータ） (2022-02-06T11:57:39Z)
• Learning Manifold Implicitly via Explicit Heat-Kernel Learning [63.354671267760516]
  そこで,本研究では,熱カーネルを学習することで,多様体情報を暗黙的に取得する,暗黙的多様体学習の概念を提案する。 学習した熱カーネルは、データ生成のための深層生成モデル(DGM)やベイズ推論のためのスタイン変分勾配Descentなど、さまざまなカーネルベースの機械学習モデルに適用することができる。
  論文  参考訳（メタデータ） (2020-10-05T03:39:58Z)
• Intrinsic Gaussian Processes on Manifolds and Their Accelerations by Symmetry [9.773237080061815]
  既存の手法は主に熱核推定のための低次元制約領域に焦点を当てている。 本研究は一般方程式上でGPを構築するための本質的なアプローチを提案する。 本手法は指数写像を用いてブラウン運動サンプル経路をシミュレーションすることにより熱核を推定する。
  論文  参考訳（メタデータ） (2020-06-25T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。