論文の概要: Variational autoencoders with latent high-dimensional steady geometric flows for dynamics

• arxiv url: http://arxiv.org/abs/2410.10137v2
• Date: Sun, 20 Oct 2024 08:46:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 02:54:14.423975
• Title: Variational autoencoders with latent high-dimensional steady geometric flows for dynamics
• Title（参考訳）: ダイナミックスのための潜在高次元定常幾何フローを持つ変分自己エンコーダ
• Authors: Andrew Gracyk,
• Abstract要約: 我々はPDE型環境データに対する変分オートエンコーダ(VAE)の手法を開発し,幾何学的潜在力学を規則化する。 エンコーダとデコーダによって開発された中間ラテント空間において,幾何学的流れを考慮した多様体幾何学が学習されるようなVAEフレームワークを再開発する。 興味のあるデータセットで、我々の手法は、少なくとも従来のVAEと同様にパフォーマンスが良く、しばしばより良くなることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop Riemannian approaches to variational autoencoders (VAEs) for PDE-type ambient data with regularizing geometric latent dynamics, which we refer to as VAE-DLM, or VAEs with dynamical latent manifolds. We redevelop the VAE framework such that manifold geometries, subject to our geometric flow, embedded in Euclidean space are learned in the intermediary latent space developed by encoders and decoders. By tailoring the geometric flow in which the latent space evolves, we induce latent geometric properties of our choosing, which are reflected in empirical performance. We reformulate the traditional evidence lower bound (ELBO) loss with a considerate choice of prior. We develop a linear geometric flow with a steady-state regularizing term. This flow requires only automatic differentiation of one time derivative, and can be solved in moderately high dimensions in a physics-informed approach, allowing more expressive latent representations. We discuss how this flow can be formulated as a gradient flow, and maintains entropy away from metric singularity. This, along with an eigenvalue penalization condition, helps ensure the manifold is sufficiently large in measure, nondegenerate, and a canonical geometry, which contribute to a robust representation. Our methods focus on the modified multi-layer perceptron architecture with tanh activations for the manifold encoder-decoder. We demonstrate, on our datasets of interest, our methods perform at least as well as the traditional VAE, and oftentimes better. Our methods can outperform this and a VAE endowed with our proposed architecture by up to 25% reduction in out-of-distribution (OOD) error and potentially greater. We highlight our method on ambient PDEs whose solutions maintain minimal variation in late times. We provide empirical justification towards how we can improve robust learning for external dynamics with VAEs.
• Abstract（参考訳）: 我々は, PDE型環境データに対する変動型オートエンコーダ(VAEs)に対するリーマン的アプローチを開発し, 幾何学的潜在力学を規則化し, VAE-DLM, 動的潜在多様体を持つVAEsと呼ぶ。 我々は、ユークリッド空間に埋め込まれた幾何学的流れを対象とする多様体幾何学が、エンコーダやデコーダによって開発された中間ラテント空間で学習されるようなVAEフレームワークを再開発する。 潜在空間が進化する幾何学的流れを調整することにより、経験的性能に反映される選択の潜在幾何学的性質を誘導する。 従来のエビデンス・ロー・バウンド(ELBO)の損失を事前の選択で再検討する。 我々は定常正規化項を持つ線形幾何流を開発する。 この流れは1つの時間微分の自動微分しか必要とせず、物理学的インフォームドアプローチで適度に高次元で解けるため、より表現力のある潜在表現が可能である。 本稿では, この流れを勾配流として定式化し, エントロピーを計量特異点から遠ざける方法について論じる。 これは固有値のペナライズ条件とともに、多様体が測度、非退化、正準幾何学において十分に大きいことを保証するのに役立ち、堅牢な表現に寄与する。 本手法は,多様体エンコーダデコーダのタンハアクティベーションを付加した多層パーセプトロンアーキテクチャに焦点をあてる。 興味のあるデータセットで、我々の手法は、少なくとも従来のVAEと同様にパフォーマンスが良く、しばしばより良くなることを示す。 提案手法は,提案したアーキテクチャにより最大25%のアウト・オブ・ディストリビューション(OOD)エラーを低減し,潜在的に大きいVAEを実現することができる。 我々は,近年のソリューションが最小限の変動を維持できる環境PDEに焦点をあてる。 VAEによる外的ダイナミクスの堅牢な学習を改善するための実証的正当性を提供する。

関連論文リスト

• Proper Latent Decomposition [4.266376725904727]
  内在座標(相対空間)の減少を計算し、数値的な離散化よりも自由度が低い流れを正確に記述する。 提案手法では,多様体上でPLDを実行するアルゴリズムを提案する。 この研究は、オートエンコーダと潜在空間の分析、非線形低次モデリング、高次元データの構造に関する科学的洞察の機会を開放する。
  論文  参考訳（メタデータ） (2024-12-01T12:19:08Z)
• Geometric Trajectory Diffusion Models [58.853975433383326]
  生成モデルは3次元幾何学システムの生成において大きな可能性を示してきた。 既存のアプローチは静的構造のみで動作し、物理系は常に自然界において動的であるという事実を無視する。 本研究では3次元軌跡の時間分布をモデル化する最初の拡散モデルである幾何軌道拡散モデル(GeoTDM)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T20:36:41Z)
• AROMA: Preserving Spatial Structure for Latent PDE Modeling with Local Neural Fields [14.219495227765671]
  本稿では、局所的なニューラルネットワークを用いた偏微分方程式(PDE)のモデリングを強化するためのフレームワークであるAROMAを提案する。 我々のフレキシブルエンコーダ・デコーダアーキテクチャは、様々なデータタイプから空間物理場のスムーズな遅延表現を得ることができる。 拡散型定式化を用いることで、従来のMSEトレーニングと比較して安定性が向上し、ロールアウトが長くなる。
  論文  参考訳（メタデータ） (2024-06-04T10:12:09Z)
• Ricci flow-guided autoencoders in learning time-dependent dynamics [0.0]
  本稿では、時間、特に偏微分方程式(PDE)を学習するための多様体ベースのオートエンコーダ法を提案する。 これは、潜在多様体のステージをパラメタライズし、その後、物理学的インフォームド・セッティングでリッチフローをシミュレートすることで達成できる。 本稿では,各PDEデータに対して,分布外データの学習や対角的ロバスト性などの特質をRicciフローが促進することを示す。
  論文  参考訳（メタデータ） (2024-01-26T01:36:48Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Learning to Accelerate Partial Differential Equations via Latent Global Evolution [64.72624347511498]
  The Latent Evolution of PDEs (LE-PDE) is a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs。 我々は,このような潜在力学を効果的に学習し,長期的安定性を確保するために,新たな学習目標を導入する。 更新対象の寸法が最大128倍、速度が最大15倍向上し、競争精度が向上した。
  論文  参考訳（メタデータ） (2022-06-15T17:31:24Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)
• Learning Flat Latent Manifolds with VAEs [16.725880610265378]
  本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。 我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。 提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-02-12T09:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。