論文の概要: Understanding the Local Geometry of Generative Model Manifolds

• arxiv url: http://arxiv.org/abs/2408.08307v1
• Date: Thu, 15 Aug 2024 17:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 13:05:43.262506
• Title: Understanding the Local Geometry of Generative Model Manifolds
• Title（参考訳）: 生成モデル多様体の局所幾何学の理解
• Authors: Ahmed Imtiaz Humayun, Ibtihel Amara, Candice Schumann, Golnoosh Farnadi, Negar Rostamzadeh, Mohammad Havaei,
• Abstract要約: 学習多様体のテクスト局所幾何学と下流生成の関係について検討する。 所与の潜伏者に対して、局所記述子は世代美学、アーティファクト、不確実性、暗記などと相関していることを示す定量的かつ定性的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 14.191548577311904
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep generative models learn continuous representations of complex data manifolds using a finite number of samples during training. For a pre-trained generative model, the common way to evaluate the quality of the manifold representation learned, is by computing global metrics like Fr\'echet Inception Distance using a large number of generated and real samples. However, generative model performance is not uniform across the learned manifold, e.g., for \textit{foundation models} like Stable Diffusion generation performance can vary significantly based on the conditioning or initial noise vector being denoised. In this paper we study the relationship between the \textit{local geometry of the learned manifold} and downstream generation. Based on the theory of continuous piecewise-linear (CPWL) generators, we use three geometric descriptors - scaling ($\psi$), rank ($\nu$), and complexity ($\delta$) - to characterize a pre-trained generative model manifold locally. We provide quantitative and qualitative evidence showing that for a given latent, the local descriptors are correlated with generation aesthetics, artifacts, uncertainty, and even memorization. Finally we demonstrate that training a \textit{reward model} on the local geometry can allow controlling the likelihood of a generated sample under the learned distribution.
• Abstract（参考訳）: 深層生成モデルは、訓練中に有限個のサンプルを用いて複素データ多様体の連続表現を学ぶ。 事前学習された生成モデルに対して、学習した多様体表現の質を評価する一般的な方法は、多数の生成された実サンプルを用いて、Fr\'echet Inception Distanceのような大域的なメトリクスを計算することである。 しかし、安定拡散生成性能のような \textit{foundation model} の場合、生成モデルの性能は学習多様体、例えば g に対して一様ではない。 本稿では,学習多様体の「textit{local geometry of the learn manifold」と下流生成の関係について検討する。 連続ピースワイズ・リニア(CPWL)ジェネレータの理論に基づいて、3つの幾何学的記述子(スケーリング($\psi$)、ランク($\nu$)、複雑性($\delta$))を用いて、事前学習された生成モデル多様体を局所的に特徴づける。 所与の潜伏者に対して、局所記述子は世代美学、アーティファクト、不確実性、暗記などと相関していることを示す定量的かつ定性的な証拠を提供する。 最後に,局所幾何上でのtextit{reward model} のトレーニングにより,学習した分布の下で生成されたサンプルの確率を制御できることを実証する。

関連論文リスト

• SpaceMesh: A Continuous Representation for Learning Manifold Surface Meshes [61.110517195874074]
  本稿では,ニューラルネットワークの出力として,複雑な接続性を持つ多様体多角形メッシュを直接生成する手法を提案する。 私たちの重要なイノベーションは、各メッシュで連続的な遅延接続空間を定義することです。 アプリケーションでは、このアプローチは生成モデルから高品質な出力を得るだけでなく、メッシュ修復のような挑戦的な幾何処理タスクを直接学習することを可能にする。
  論文  参考訳（メタデータ） (2024-09-30T17:59:03Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• T1: Scaling Diffusion Probabilistic Fields to High-Resolution on Unified Visual Modalities [69.16656086708291]
  拡散確率場(DPF)は、距離空間上で定義された連続関数の分布をモデル化する。 本稿では,局所構造学習に着目したビューワイズサンプリングアルゴリズムによる新しいモデルを提案する。 モデルは、複数のモダリティを統一しながら、高解像度のデータを生成するためにスケールすることができる。
  論文  参考訳（メタデータ） (2023-05-24T03:32:03Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• Adversarial Manifold Matching via Deep Metric Learning for Generative Modeling [5.5840609705075055]
  本稿では,分布生成器と距離生成器を含む生成モデルに対する多様体マッチング手法を提案する。 分布生成器は、実データ多様体の周りに凝縮された分布に従うサンプルを生成することを目的としている。 距離計生成器は、実データと生成されたサンプルの両方を利用して距離計を学習する。
  論文  参考訳（メタデータ） (2021-06-20T23:25:01Z)
• Flow-based Generative Models for Learning Manifold to Manifold Mappings [39.60406116984869]
  本稿では,フローベース生成モデルに類似した,多様体値データに対する可逆層を3種類導入する。 配向分布関数の分野の脳画像を確実にかつ正確に再構築できる有望な結果を示します。
  論文  参考訳（メタデータ） (2020-12-18T02:19:18Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。