論文の概要: Hessian Geometry of Latent Space in Generative Models
- arxiv url: http://arxiv.org/abs/2506.10632v1
- Date: Thu, 12 Jun 2025 12:17:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 15:37:22.723335
- Title: Hessian Geometry of Latent Space in Generative Models
- Title（参考訳）: 生成モデルにおける潜時空間のヘッセン幾何学
- Authors: Alexander Lobashev, Dmitry Guskov, Maria Larchenko, Mikhail Tamm,
- Abstract要約: 生成モデルの潜在空間幾何学を解析するための新しい手法を提案する。
提案手法は, 得られた潜伏変数の後方分布を近似する。
IsingモデルとTASEPモデルで検証され、熱力学量の再構築において既存のベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 41.94295877935867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel method for analyzing the latent space geometry of generative models, including statistical physics models and diffusion models, by reconstructing the Fisher information metric. The method approximates the posterior distribution of latent variables given generated samples and uses this to learn the log-partition function, which defines the Fisher metric for exponential families. Theoretical convergence guarantees are provided, and the method is validated on the Ising and TASEP models, outperforming existing baselines in reconstructing thermodynamic quantities. Applied to diffusion models, the method reveals a fractal structure of phase transitions in the latent space, characterized by abrupt changes in the Fisher metric. We demonstrate that while geodesic interpolations are approximately linear within individual phases, this linearity breaks down at phase boundaries, where the diffusion model exhibits a divergent Lipschitz constant with respect to the latent space. These findings provide new insights into the complex structure of diffusion model latent spaces and their connection to phenomena like phase transitions. Our source code is available at https://github.com/alobashev/hessian-geometry-of-diffusion-models.
- Abstract（参考訳）: 本稿では, 統計物理モデルと拡散モデルを含む生成モデルの潜時空間幾何学をフィッシャー情報計量の再構成により解析する手法を提案する。
この手法は, 得られた潜伏変数の後方分布を近似し, 指数関数に対するフィッシャー計量を定義する対数分割関数を学習する。
理論的収束保証が提供され、IsingモデルとTASEPモデルで検証され、熱力学量の再構成において既存のベースラインよりも優れている。
この手法は拡散モデルに適用され、フィッシャー計量の急激な変化を特徴とする潜伏空間における相転移のフラクタル構造を明らかにする。
測地的補間は個々の位相内でほぼ線形であるが、この線型性は位相境界において崩壊し、拡散モデルは潜時空間に対して発散するリプシッツ定数を示す。
これらの知見は拡散モデルラテント空間の複雑な構造と相転移のような現象との関連性に関する新たな洞察を与える。
ソースコードはhttps://github.com/alobashev/hessian-geometry-of-diffusion-modelsで公開されています。
関連論文リスト
- Continuous Diffusion Model for Language Modeling [57.396578974401734]
離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-02-17T08:54:29Z) - Generative prediction of flow fields around an obstacle using the diffusion model [12.094115138998745]
本稿では,障害物まわりの流れ場を予測するために,障害物形状を入力として利用する幾何学的-フロー拡散モデルを提案する。
マルコフ過程は障害物形状に条件付けされ、各ステップで除去されるノイズを推定する。
我々は、円、楕円、長方形、三角形を含む単純な障害物を取り巻く流れのデータセットを用いて、幾何学と流れの拡散モデルを訓練する。
論文 参考訳（メタデータ） (2024-06-30T15:48:57Z) - Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。
遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
論文 参考訳（メタデータ） (2024-06-21T01:32:03Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Counting Phases and Faces Using Bayesian Thermodynamic Integration [77.34726150561087]
本稿では,2パラメータ統計力学系における熱力学関数と位相境界の再構成手法を提案する。
提案手法を用いて,IsingモデルとTASEPの分割関数と位相図を正確に再構成する。
論文 参考訳（メタデータ） (2022-05-18T17:11:23Z) - Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである
MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。
一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
論文 参考訳（メタデータ） (2021-08-18T09:00:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。