論文の概要: Understanding the Local Geometry of Generative Model Manifolds
- arxiv url: http://arxiv.org/abs/2408.08307v1
- Date: Thu, 15 Aug 2024 17:59:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 13:05:43.262506
- Title: Understanding the Local Geometry of Generative Model Manifolds
- Title（参考訳）: 生成モデル多様体の局所幾何学の理解
- Authors: Ahmed Imtiaz Humayun, Ibtihel Amara, Candice Schumann, Golnoosh Farnadi, Negar Rostamzadeh, Mohammad Havaei,
- Abstract要約: 学習多様体のテクスト局所幾何学と下流生成の関係について検討する。
所与の潜伏者に対して、局所記述子は世代美学、アーティファクト、不確実性、暗記などと相関していることを示す定量的かつ定性的な証拠を提供する。
- 参考スコア（独自算出の注目度）: 14.191548577311904
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep generative models learn continuous representations of complex data manifolds using a finite number of samples during training. For a pre-trained generative model, the common way to evaluate the quality of the manifold representation learned, is by computing global metrics like Fr\'echet Inception Distance using a large number of generated and real samples. However, generative model performance is not uniform across the learned manifold, e.g., for \textit{foundation models} like Stable Diffusion generation performance can vary significantly based on the conditioning or initial noise vector being denoised. In this paper we study the relationship between the \textit{local geometry of the learned manifold} and downstream generation. Based on the theory of continuous piecewise-linear (CPWL) generators, we use three geometric descriptors - scaling ($\psi$), rank ($\nu$), and complexity ($\delta$) - to characterize a pre-trained generative model manifold locally. We provide quantitative and qualitative evidence showing that for a given latent, the local descriptors are correlated with generation aesthetics, artifacts, uncertainty, and even memorization. Finally we demonstrate that training a \textit{reward model} on the local geometry can allow controlling the likelihood of a generated sample under the learned distribution.
- Abstract（参考訳）: 深層生成モデルは、訓練中に有限個のサンプルを用いて複素データ多様体の連続表現を学ぶ。
事前学習された生成モデルに対して、学習した多様体表現の質を評価する一般的な方法は、多数の生成された実サンプルを用いて、Fr\'echet Inception Distanceのような大域的なメトリクスを計算することである。
しかし、安定拡散生成性能のような \textit{foundation model} の場合、生成モデルの性能は学習多様体、例えば g に対して一様ではない。
本稿では,学習多様体の「textit{local geometry of the learn manifold」と下流生成の関係について検討する。
連続ピースワイズ・リニア(CPWL)ジェネレータの理論に基づいて、3つの幾何学的記述子(スケーリング($\psi$)、ランク($\nu$)、複雑性($\delta$))を用いて、事前学習された生成モデル多様体を局所的に特徴づける。
所与の潜伏者に対して、局所記述子は世代美学、アーティファクト、不確実性、暗記などと相関していることを示す定量的かつ定性的な証拠を提供する。
最後に,局所幾何上でのtextit{reward model} のトレーニングにより,学習した分布の下で生成されたサンプルの確率を制御できることを実証する。
関連論文リスト
- On the Statistical Capacity of Deep Generative Models [10.288413514555861]
深部生成モデルでは,光尾を呈する濃縮試料しか生成できないことを示す。
これらの結果は、重い尾を扱う共通の深部生成モデルの限られた能力に光を当てた。
論文 参考訳（メタデータ） (2025-01-14T00:39:46Z) - Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。
遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
論文 参考訳（メタデータ） (2024-06-21T01:32:03Z) - Compressing Image-to-Image Translation GANs Using Local Density
Structures on Their Learned Manifold [69.33930972652594]
GAN(Generative Adversarial Networks)は、画像から画像への変換のための複雑なデータ分散のモデル化において、顕著な成功を収めている。
既存のGAN圧縮法は主に知識蒸留や畳み込み分類器の刈り取り技術に依存している。
学習多様体上の元のパラメータ重モデルの密度構造を保存するために,プルーンドモデルを明示的に促すことにより,新しいアプローチを提案する。
画像変換GANモデルであるPix2PixとCycleGANについて,様々なベンチマークデータセットとアーキテクチャを用いて実験を行い,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2023-12-22T15:43:12Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳（メタデータ） (2023-07-23T03:53:53Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - T1: Scaling Diffusion Probabilistic Fields to High-Resolution on Unified
Visual Modalities [69.16656086708291]
拡散確率場(DPF)は、距離空間上で定義された連続関数の分布をモデル化する。
本稿では,局所構造学習に着目したビューワイズサンプリングアルゴリズムによる新しいモデルを提案する。
モデルは、複数のモダリティを統一しながら、高解像度のデータを生成するためにスケールすることができる。
論文 参考訳（メタデータ） (2023-05-24T03:32:03Z) - Geometric Latent Diffusion Models for 3D Molecule Generation [172.15028281732737]
生成モデル、特に拡散モデル(DM)は、特徴豊富な測地を生成する上で有望な結果を得た。
我々はGeoLDM(Geometric Latent Diffusion Models)と呼ばれる新しい3次元分子生成法を提案する。
論文 参考訳（メタデータ） (2023-05-02T01:07:22Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - Conformal Generative Modeling on Triangulated Surfaces [31.870141076085716]
離散三角形メッシュにより近似された2次元表面における共形生成モデリングの枠組みである共形生成モデリングを提案する。
我々のアプローチは、離散共形幾何学の進歩を利用して、原三角形メッシュから球面のような単純な多様体のターゲット三角形メッシュへの写像を開発する。
論文 参考訳（メタデータ） (2023-03-17T21:06:47Z) - Unveiling the Latent Space Geometry of Push-Forward Generative Models [24.025975236316846]
多くの深い生成モデルは、GAN(Generative Adversarial Networks)やVAE(Varial Auto-Encoders)のような連続生成器によってガウス測度のプッシュフォワードとして定義される。
この研究は、そのような深層生成モデルの潜伏空間を探索する。
これらのモデルの主な問題は、非連結分布を学習する際に、対象分布の支持外からサンプルを出力する傾向があることである。
論文 参考訳（メタデータ） (2022-07-21T15:29:35Z) - Flow-based Generative Models for Learning Manifold to Manifold Mappings [39.60406116984869]
本稿では,フローベース生成モデルに類似した,多様体値データに対する可逆層を3種類導入する。
配向分布関数の分野の脳画像を確実にかつ正確に再構築できる有望な結果を示します。
論文 参考訳（メタデータ） (2020-12-18T02:19:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。