論文の概要: Scaling Riemannian Diffusion Models

• arxiv url: http://arxiv.org/abs/2310.20030v1
• Date: Mon, 30 Oct 2023 21:27:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 17:24:05.380408
• Title: Scaling Riemannian Diffusion Models
• Title（参考訳）: リーマン拡散モデルのスケーリング
• Authors: Aaron Lou, Minkai Xu, Stefano Ermon
• Abstract要約: 非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
• 参考スコア（独自算出の注目度）: 68.52820280448991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Riemannian diffusion models draw inspiration from standard Euclidean space diffusion models to learn distributions on general manifolds. Unfortunately, the additional geometric complexity renders the diffusion transition term inexpressible in closed form, so prior methods resort to imprecise approximations of the score matching training objective that degrade performance and preclude applications in high dimensions. In this work, we reexamine these approximations and propose several practical improvements. Our key observation is that most relevant manifolds are symmetric spaces, which are much more amenable to computation. By leveraging and combining various ans\"{a}tze, we can quickly compute relevant quantities to high precision. On low dimensional datasets, our correction produces a noticeable improvement, allowing diffusion to compete with other methods. Additionally, we show that our method enables us to scale to high dimensional tasks on nontrivial manifolds. In particular, we model QCD densities on $SU(n)$ lattices and contrastively learned embeddings on high dimensional hyperspheres.
• Abstract（参考訳）: リーマン拡散モデルは標準ユークリッド空間拡散モデルからインスピレーションを得て、一般多様体上の分布を学ぶ。 残念なことに、追加の幾何学的複雑性は拡散遷移項を閉じた形で表現できないようにするため、以前の手法では、パフォーマンスを低下させ、高次元の応用を妨げるスコアマッチングトレーニング目標の近似を不正確にする。 本稿では,これらの近似を再検討し,いくつかの実践的改善を提案する。 我々の重要な観察は、最も関連する多様体は対称空間であり、計算にはるかに適しているということである。 様々な ans\{a}tze を活用して組み合わせることで、関連する量を高速で高精度に計算できる。 低次元データセットでは、我々の補正は明らかな改善をもたらし、拡散は他の方法と競合する。 さらに,本手法は非自明な多様体上の高次元タスクに拡張できることを示す。 特に、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。

関連論文リスト

• On Probabilistic Pullback Metrics on Latent Hyperbolic Manifolds [5.724027955589408]
  本稿では,階層関係のモデル化に適した双曲多様体について述べる。 本稿では,VM の非線形写像によって生じる歪みを考慮に入れたプルバックメトリックによる双曲的計量の増大を提案する。 様々な実験を通して、引き戻し距離の測地学は双曲ラテント空間の幾何学を尊重するだけでなく、基礎となるデータ分布と整合することを示した。
  論文  参考訳（メタデータ） (2024-10-28T09:13:00Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
  一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
  論文  参考訳（メタデータ） (2023-10-11T06:04:40Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Riemannian Diffusion Models [11.306081315276089]
  拡散モデルは画像生成と推定のための最新の最先端手法である。 本研究では、連続時間拡散モデルを任意のリーマン多様体に一般化する。 提案手法は,全てのベンチマークにおいて新しい最先端の可能性を実現する。
  論文  参考訳（メタデータ） (2022-08-16T21:18:31Z)
• Diagnosing and Fixing Manifold Overfitting in Deep Generative Models [11.82509693248749]
  ニューラルネットワークを使ってフレキシブルな高次元密度を構築する。 観測データは高次元空間に埋め込まれた低次元多様体上に存在することを示す。 そこで本研究では,次元削減ステップと最大線密度推定を併用した2段階の手順のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-14T18:00:03Z)
• Riemannian Score-Based Generative Modeling [56.20669989459281]
  経験的性能を示すスコアベース生成モデル(SGM)を紹介する。 現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。 これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
  論文  参考訳（メタデータ） (2022-02-06T11:57:39Z)
• Rectangular Flows for Manifold Learning [38.63646804834534]
  正規化フローは、トラクタブル・オブ・ボリューム項を持つ可逆ニューラルネットワークである。 興味のあるデータは、通常、高次元の周囲空間に埋め込まれたいくつかの(しばしば未知の)低次元多様体に生きていると仮定される。 本稿では,モデルのパラメータに関して,この項の勾配を抽出可能な2つの手法を提案する。
  論文  参考訳（メタデータ） (2021-06-02T18:30:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。