論文の概要: What Secrets Do Your Manifolds Hold? Understanding the Local Geometry of Generative Models

• arxiv url: http://arxiv.org/abs/2408.08307v2
• Date: Thu, 06 Feb 2025 09:30:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 17:44:02.576987
• Title: What Secrets Do Your Manifolds Hold? Understanding the Local Geometry of Generative Models
• Title（参考訳）: マニフォールドの秘密は何か? 生成モデルの局所幾何学を理解する
• Authors: Ahmed Imtiaz Humayun, Ibtihel Amara, Cristina Vasconcelos, Deepak Ramachandran, Candice Schumann, Junfeng He, Katherine Heller, Golnoosh Farnadi, Negar Rostamzadeh, Mohammad Havaei,
• Abstract要約: 本研究では,学習多様体の局所幾何学とその生成結果との関係について検討する。 筆者らは,与えられた潜伏像対に対して,局所記述子は生成モデルによる生成美学,多様性,記憶の指標であることを示す定量的および定性的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 17.273596999339077
• License:
• Abstract: Deep Generative Models are frequently used to learn continuous representations of complex data distributions using a finite number of samples. For any generative model, including pre-trained foundation models with Diffusion or Transformer architectures, generation performance can significantly vary across the learned data manifold. In this paper we study the local geometry of the learned manifold and its relationship to generation outcomes for a wide range of generative models, including DDPM, Diffusion Transformer (DiT), and Stable Diffusion 1.4. Building on the theory of continuous piecewise-linear (CPWL) generators, we characterize the local geometry in terms of three geometric descriptors - scaling ($\psi$), rank ($\nu$), and complexity/un-smoothness ($\delta$). We provide quantitative and qualitative evidence showing that for a given latent-image pair, the local descriptors are indicative of generation aesthetics, diversity, and memorization by the generative model. Finally, we demonstrate that by training a reward model on the local scaling for Stable Diffusion, we can self-improve both generation aesthetics and diversity using `geometry reward' based guidance during denoising.
• Abstract（参考訳）: 深部生成モデル(Deep Generative Models)は、有限個のサンプルを用いて複雑なデータ分布の連続表現を学習するために頻繁に用いられる。 Diffusion や Transformer アーキテクチャで事前訓練された基礎モデルを含む任意の生成モデルに対して、生成性能は学習データ多様体間で大きく異なる。 本稿では, DDPM, Diffusion Transformer (DiT), Stable Diffusion 1.4など, 学習多様体の局所幾何学とその生成結果との関係について検討する。 連続片方向線形生成(CPWL)の理論に基づいて、局所幾何学を3つの幾何学的記述子(スケーリング($\psi$)、ランク($\nu$)、複雑性/非滑らか性($\delta$)で特徴づける。 筆者らは,与えられた潜伏像対に対して,局所記述子は生成モデルによる生成美学,多様性,記憶の指標であることを示す定量的および定性的な証拠を提供する。 最後に、安定拡散の局所的スケーリングに関する報酬モデルをトレーニングすることにより、デノナイジング中に「幾何学的報酬」に基づくガイダンスを用いて、世代美学と多様性の両方を自己改善できることを示した。

関連論文リスト

• On the Statistical Capacity of Deep Generative Models [10.288413514555861]
  深部生成モデルでは,光尾を呈する濃縮試料しか生成できないことを示す。 これらの結果は、重い尾を扱う共通の深部生成モデルの限られた能力に光を当てた。
  論文  参考訳（メタデータ） (2025-01-14T00:39:46Z)
• Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
  拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。 遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
  論文  参考訳（メタデータ） (2024-06-21T01:32:03Z)
• Compressing Image-to-Image Translation GANs Using Local Density Structures on Their Learned Manifold [69.33930972652594]
  GAN(Generative Adversarial Networks)は、画像から画像への変換のための複雑なデータ分散のモデル化において、顕著な成功を収めている。 既存のGAN圧縮法は主に知識蒸留や畳み込み分類器の刈り取り技術に依存している。 学習多様体上の元のパラメータ重モデルの密度構造を保存するために,プルーンドモデルを明示的に促すことにより,新しいアプローチを提案する。 画像変換GANモデルであるPix2PixとCycleGANについて,様々なベンチマークデータセットとアーキテクチャを用いて実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-22T15:43:12Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• T1: Scaling Diffusion Probabilistic Fields to High-Resolution on Unified Visual Modalities [69.16656086708291]
  拡散確率場(DPF)は、距離空間上で定義された連続関数の分布をモデル化する。 本稿では,局所構造学習に着目したビューワイズサンプリングアルゴリズムによる新しいモデルを提案する。 モデルは、複数のモダリティを統一しながら、高解像度のデータを生成するためにスケールすることができる。
  論文  参考訳（メタデータ） (2023-05-24T03:32:03Z)
• Geometric Latent Diffusion Models for 3D Molecule Generation [172.15028281732737]
  生成モデル、特に拡散モデル(DM)は、特徴豊富な測地を生成する上で有望な結果を得た。 我々はGeoLDM(Geometric Latent Diffusion Models)と呼ばれる新しい3次元分子生成法を提案する。
  論文  参考訳（メタデータ） (2023-05-02T01:07:22Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Conformal Generative Modeling on Triangulated Surfaces [31.870141076085716]
  離散三角形メッシュにより近似された2次元表面における共形生成モデリングの枠組みである共形生成モデリングを提案する。 我々のアプローチは、離散共形幾何学の進歩を利用して、原三角形メッシュから球面のような単純な多様体のターゲット三角形メッシュへの写像を開発する。
  論文  参考訳（メタデータ） (2023-03-17T21:06:47Z)
• Unveiling the Latent Space Geometry of Push-Forward Generative Models [24.025975236316846]
  多くの深い生成モデルは、GAN(Generative Adversarial Networks)やVAE(Varial Auto-Encoders)のような連続生成器によってガウス測度のプッシュフォワードとして定義される。 この研究は、そのような深層生成モデルの潜伏空間を探索する。 これらのモデルの主な問題は、非連結分布を学習する際に、対象分布の支持外からサンプルを出力する傾向があることである。
  論文  参考訳（メタデータ） (2022-07-21T15:29:35Z)
• Flow-based Generative Models for Learning Manifold to Manifold Mappings [39.60406116984869]
  本稿では,フローベース生成モデルに類似した,多様体値データに対する可逆層を3種類導入する。 配向分布関数の分野の脳画像を確実にかつ正確に再構築できる有望な結果を示します。
  論文  参考訳（メタデータ） (2020-12-18T02:19:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。