論文の概要: Trivialized Momentum Facilitates Diffusion Generative Modeling on Lie Groups

• arxiv url: http://arxiv.org/abs/2405.16381v1
• Date: Sat, 25 May 2024 23:53:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 21:37:49.521207
• Title: Trivialized Momentum Facilitates Diffusion Generative Modeling on Lie Groups
• Title（参考訳）: 自由化モーメントファシリテートによるリー群上の拡散生成モデル
• Authors: Yuchen Zhu, Tianrong Chen, Lingkai Kong, Evangelos A. Theodorou, Molei Tao,
• Abstract要約: 本稿では、自明化と呼ばれる手法がユークリッド空間における拡散モデルの有効性をリー群に伝達する方法を示す。 モーメント変数は、データ分布と固定されたサンプル分布の間の位置変数の移動を支援するためにアルゴリズムによって導入された。 得られた方法は、タンパク質およびRNAのねじれ角の生成および洗練されたトーラスデータセットに対する最先端の性能を達成する。
• 参考スコア（独自算出の注目度）: 37.78638937228254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generative modeling of data on manifold is an important task, for which diffusion models in flat spaces typically need nontrivial adaptations. This article demonstrates how a technique called `trivialization' can transfer the effectiveness of diffusion models in Euclidean spaces to Lie groups. In particular, an auxiliary momentum variable was algorithmically introduced to help transport the position variable between data distribution and a fixed, easy-to-sample distribution. Normally, this would incur further difficulty for manifold data because momentum lives in a space that changes with the position. However, our trivialization technique creates to a new momentum variable that stays in a simple $\textbf{fixed vector space}$. This design, together with a manifold preserving integrator, simplifies implementation and avoids inaccuracies created by approximations such as projections to tangent space and manifold, which were typically used in prior work, hence facilitating generation with high-fidelity and efficiency. The resulting method achieves state-of-the-art performance on protein and RNA torsion angle generation and sophisticated torus datasets. We also, arguably for the first time, tackle the generation of data on high-dimensional Special Orthogonal and Unitary groups, the latter essential for quantum problems.
• Abstract（参考訳）: 多様体上のデータの生成的モデリングは重要なタスクであり、平坦空間における拡散モデルは通常非自明な適応を必要とする。 本稿では,「自明化」と呼ばれる手法がユークリッド空間における拡散モデルの有効性をリー群に伝達する方法を示す。 特に、データ分布と固定されたサンプル分布の間の位置変数の輸送を支援するために、補助運動量変数がアルゴリズムによって導入された。 通常は、運動量は位置によって変化する空間に存在しているので、多様体データにとってさらに困難になる。 しかし、我々の自明化技法は、単純な$\textbf{fixed vector space}$に留まる新しい運動量変数を生み出す。 この設計は、積分器を保存する多様体と共に、実装を単純化し、接空間や多様体への射影などの近似によって生じる不正確さを回避している。 得られた方法は、タンパク質およびRNAのねじれ角の生成および洗練されたトーラスデータセットに対する最先端の性能を達成する。 また、量子問題に欠かせない高次元の特殊直交群やユニタリ群に関するデータ生成にも、間違いなく初めて取り組む。

関連論文リスト

• Linear combinations of Gaussian latents in generative models: interpolation and beyond [6.38754204972456]
  ガウス変数の組合せ(COG)は、実装が容易でありながら最近の高度な手法よりも優れている汎用手法である。 COGは、潜在変数の一般線型結合を形成するというより広範なタスクに自然に対処し、潜在空間の部分空間の構築を可能にする。
  論文  参考訳（メタデータ） (2024-08-16T06:43:58Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Geometrically Aligned Transfer Encoder for Inductive Transfer in Regression Tasks [5.038936775643437]
  微分幾何学に基づく新しい移動法,すなわち幾何学的配向変換(GATE)を提案する。 すべての任意の点が重なり合う領域の局所平坦な座標に写像されることを保証するために、タスクのペア間の適切な微分同相性を見つけ、ソースからターゲットデータへの知識の伝達を可能にする。 GATEは従来の手法より優れ、様々な分子グラフデータセットの潜伏空間と外挿領域の両方で安定した振る舞いを示す。
  論文  参考訳（メタデータ） (2023-10-10T07:11:25Z)
• Random Smoothing Regularization in Kernel Gradient Descent Learning [24.383121157277007]
  古典的ソボレフ空間に属する幅広い基底真理関数を適応的に学習できるランダムなスムーズな正規化のための枠組みを提案する。 我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
  論文  参考訳（メタデータ） (2023-05-05T13:37:34Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• The Manifold Scattering Transform for High-Dimensional Point Cloud Data [16.500568323161563]
  本稿では,自然システムにおけるデータセットへの多様体散乱変換の実装のための実践的スキームを提案する。 本手法は信号の分類や多様体の分類に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-21T02:15:00Z)
• Learning High-Dimensional Distributions with Latent Neural Fokker-Planck Kernels [67.81799703916563]
  低次元潜在空間におけるフォッカー・プランク方程式の解法として問題を定式化する新しい手法を導入する。 提案モデルでは,潜在分散モーフィング,ジェネレータ,パラメータ化Fokker-Planckカーネル関数からなる。
  論文  参考訳（メタデータ） (2021-05-10T17:42:01Z)
• Generative Model without Prior Distribution Matching [26.91643368299913]
  変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。 我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
  論文  参考訳（メタデータ） (2020-09-23T09:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。