論文の概要: Variational autoencoders with latent high-dimensional steady geometric flows for dynamics

• arxiv url: http://arxiv.org/abs/2410.10137v1
• Date: Sun, 20 Oct 2024 08:46:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 02:54:14.426610
• Title: Variational autoencoders with latent high-dimensional steady geometric flows for dynamics
• Title（参考訳）: ダイナミックスのための潜在高次元定常幾何フローを持つ変分自己エンコーダ
• Authors: Andrew Gracyk,
• Abstract要約: 我々は、エンコーダとデコーダによって開発された中間ラテント空間において、多様体の幾何学が学習されるようなVAEフレームワークを再開発する。 我々の手法は,提案したアーキテクチャで与えられた標準のVAEとVAEを最大25%のアウト・オブ・ディストリビューション(OOD)誤差で上回り,潜在的に大きい。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop Riemannian approaches to variational autoencoders (VAEs) for PDE-type ambient data with regularizing geometric latent dynamics, which we refer to as VAE-DLM, or VAEs with dynamical latent manifolds. We redevelop the VAE framework such that manifold geometries, subject to a geometric flow, embedded in Euclidean space are learned in the intermediary latent space developed by encoders and decoders. We reformulate the traditional evidence lower bound (ELBO) loss with a considerate choice of prior. We develop a linear geometric flow with a steady-state regularizing term. This geometric flow requires only automatic differentiation of one time derivative, and can be solved in moderately high dimensions in a physics-informed approach, allowing more expressive latent representations. We discuss how this flow can be formulated as a gradient flow, and maintains entropy away from metric singularity. This, along with an eigenvalue penalization condition, helps ensure the manifold is sufficiently large in measure, nondegenerate, and a canonical geometry, which contribute to a robust representation. Our methods focus on the modified multi-layer perceptron architecture with tanh activations for the manifold encoder-decoder. We demonstrate, on our datasets of interest, our methods perform at least as well as the traditional VAE, and oftentimes better. Our methods can outperform a standard VAE and a VAE endowed with our proposed architecture by up to 25% reduction in out-of-distribution (OOD) error and potentially greater. We highlight our method on ambient PDEs whose solutions maintain minimal variation in late times over its solution. Our approaches are particularly favorable with severe OOD effect. We provide empirical justification towards how latent Riemannian manifolds improve robust learning for external dynamics with VAEs.
• Abstract（参考訳）: 我々は, PDE型環境データに対する変動型オートエンコーダ(VAEs)に対するリーマン的アプローチを開発し, 幾何学的潜在力学を規則化し, VAE-DLM, 動的潜在多様体を持つVAEsと呼ぶ。 我々は、ユークリッド空間に埋め込まれた幾何学的流れを対象とする多様体幾何学が、エンコーダやデコーダによって開発された中間ラテント空間で学習されるようなVAEフレームワークを再開発する。 従来のエビデンス・ロー・バウンド(ELBO)の損失を事前の選択で再検討する。 我々は定常正規化項を持つ線形幾何流を開発する。 この幾何フローは1つの時間微分の自動微分しか必要とせず、物理学的インフォームドアプローチで適度に高次元で解けるので、より表現力のある潜在表現が可能である。 本稿では, この流れを勾配流として定式化し, エントロピーを計量特異点から遠ざける方法について論じる。 これは固有値のペナライズ条件とともに、多様体が測度、非退化、正準幾何学において十分に大きいことを保証するのに役立ち、堅牢な表現に寄与する。 本手法は,多様体エンコーダデコーダのタンハアクティベーションを付加した多層パーセプトロンアーキテクチャに焦点をあてる。 興味のあるデータセットで、我々の手法は、少なくとも従来のVAEと同様にパフォーマンスが良く、しばしばより良くなることを示す。 我々の手法は,提案したアーキテクチャで与えられた標準のVAEとVAEを最大25%のアウト・オブ・ディストリビューション(OOD)誤差で上回り,潜在的に大きい。 提案手法は, ソリューションがソリューションの最近の変化を最小限に抑える環境PDEに重点を置いている。 われわれのアプローチは特に重度のOOD効果に有利である。 我々は、潜在リーマン多様体がVAEによる外部力学の堅牢な学習をどのように改善するかを実証的に正当化する。

関連論文リスト

• Geometric Trajectory Diffusion Models [58.853975433383326]
  生成モデルは3次元幾何学システムの生成において大きな可能性を示してきた。 既存のアプローチは静的構造のみで動作し、物理系は常に自然界において動的であるという事実を無視する。 本研究では3次元軌跡の時間分布をモデル化する最初の拡散モデルである幾何軌道拡散モデル(GeoTDM)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T20:36:41Z)
• AROMA: Preserving Spatial Structure for Latent PDE Modeling with Local Neural Fields [14.219495227765671]
  本稿では、局所的なニューラルネットワークを用いた偏微分方程式(PDE)のモデリングを強化するためのフレームワークであるAROMAを提案する。 我々のフレキシブルエンコーダ・デコーダアーキテクチャは、様々なデータタイプから空間物理場のスムーズな遅延表現を得ることができる。 拡散型定式化を用いることで、従来のMSEトレーニングと比較して安定性が向上し、ロールアウトが長くなる。
  論文  参考訳（メタデータ） (2024-06-04T10:12:09Z)
• Ricci flow-guided autoencoders in learning time-dependent dynamics [0.0]
  本稿では、時間、特に偏微分方程式(PDE)を学習するための多様体ベースのオートエンコーダ法を提案する。 これは、物理学的インフォームドな設定でリッチフローをシミュレートすることで実現でき、また、リッチフローが経験的に達成されるように、多様体の量と一致させることができる。 本稿では,周期性やランダム性などの望ましい特徴を含むPDEデータからなる実験について述べる。
  論文  参考訳（メタデータ） (2024-01-26T01:36:48Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Learning to Accelerate Partial Differential Equations via Latent Global Evolution [64.72624347511498]
  The Latent Evolution of PDEs (LE-PDE) is a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs。 我々は,このような潜在力学を効果的に学習し,長期的安定性を確保するために,新たな学習目標を導入する。 更新対象の寸法が最大128倍、速度が最大15倍向上し、競争精度が向上した。
  論文  参考訳（メタデータ） (2022-06-15T17:31:24Z)
• Data-driven reduced order modeling of environmental hydrodynamics using deep autoencoders and neural ODEs [3.4527210650730393]
  減弱基底表現の発見にディープオートエンコーダを用いた場合について検討する。 テスト問題としては,シリンダーまわりの非圧縮性流れや,河口系における浅水流体力学の現実的応用などが挙げられる。
  論文  参考訳（メタデータ） (2021-07-06T17:45:37Z)
• A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
  ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。 我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
  論文  参考訳（メタデータ） (2021-05-06T17:36:55Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)
• Quasi-symplectic Langevin Variational Autoencoder [7.443843354775884]
  変分オートエンコーダ(VAE)は、ニューラルネットワーク研究において非常に人気があり、よく研究されている生成モデルである。 低分散証拠低境界(ELBO)構築の難しさに対処することが求められている。
  論文  参考訳（メタデータ） (2020-09-02T12:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。