論文の概要: Deep Generative Models through the Lens of the Manifold Hypothesis: A Survey and New Connections

• arxiv url: http://arxiv.org/abs/2404.02954v1
• Date: Wed, 3 Apr 2024 18:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 18:54:31.469248
• Title: Deep Generative Models through the Lens of the Manifold Hypothesis: A Survey and New Connections
• Title（参考訳）: マニフォールド仮説のレンズによる深部生成モデル:調査と新しいつながり
• Authors: Gabriel Loaiza-Ganem, Brendan Leigh Ross, Rasa Hosseinzadeh, Anthony L. Caterini, Jesse C. Cresswell,
• Abstract要約: 低次元データのモデリングにおいて,高次元確率の数値不安定性は避けられないことを示す。 次に、オートエンコーダの学習表現上のDGMは、ワッサーシュタイン距離をほぼ最小化するものとして解釈できることを示す。
• 参考スコア（独自算出の注目度）: 15.191007332508198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years there has been increased interest in understanding the interplay between deep generative models (DGMs) and the manifold hypothesis. Research in this area focuses on understanding the reasons why commonly-used DGMs succeed or fail at learning distributions supported on unknown low-dimensional manifolds, as well as developing new models explicitly designed to account for manifold-supported data. This manifold lens provides both clarity as to why some DGMs (e.g. diffusion models and some generative adversarial networks) empirically surpass others (e.g. likelihood-based models such as variational autoencoders, normalizing flows, or energy-based models) at sample generation, and guidance for devising more performant DGMs. We carry out the first survey of DGMs viewed through this lens, making two novel contributions along the way. First, we formally establish that numerical instability of high-dimensional likelihoods is unavoidable when modelling low-dimensional data. We then show that DGMs on learned representations of autoencoders can be interpreted as approximately minimizing Wasserstein distance: this result, which applies to latent diffusion models, helps justify their outstanding empirical results. The manifold lens provides a rich perspective from which to understand DGMs, which we aim to make more accessible and widespread.
• Abstract（参考訳）: 近年、深層生成モデル(DGM)と多様体仮説の相互作用を理解することへの関心が高まっている。 本研究は,DGMが未知の低次元多様体上で支持される分布の学習に成功あるいは失敗する理由の解明と,多様体支援データを考慮した新しいモデルの開発に焦点をあてる。 この多様体レンズは、サンプル生成時にDGM(例えば拡散モデルや生成逆数ネットワーク)が他のDGM(例えば、変分オートエンコーダ、正規化フロー、エネルギーベースモデル)を経験的に上回る理由と、より高性能なDGMを考案するためのガイダンスの両方を提供する。 我々は、このレンズを通して見るDGMの最初の調査を行い、その過程で2つの新しい貢献をした。 まず,低次元データのモデル化において,高次元確率の数値不安定性は避けられないことを正式に証明する。 次に、自動エンコーダの学習表現上のDGMは、ワッサーシュタイン距離を概ね最小化するものとして解釈できることを示し、この結果は潜伏拡散モデルに適用され、その卓越した経験的結果の正当化に役立つ。 多様体レンズは、DGMを理解するためのリッチな視点を提供する。

関連論文リスト

• Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions [6.9408143976091745]
  Denoising Diffusion Probabilistic Models (DDPM)は、高次元データ分布から合成データを生成するために使用される強力な最先端手法である。 我々は、多様体仮説の下でDDPMを研究し、スコアの学習の観点から、周囲次元に依存しないレートを達成することを証明した。 サンプリングの面では、周囲次元 w.r.t, Kullback-Leibler 発散率 w.r.t, $O(sqrtD)$ w.r.t. ワッサーシュタイン距離 w.r.t に依存しないレートを得る。
  論文  参考訳（メタデータ） (2024-09-27T14:57:18Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• Understanding Deep Generative Models with Generalized Empirical Likelihoods [3.7978679293562587]
  そこで本研究では,最大平均離散性と一般化経験的類似性(Generalized Empirical Likelihood)の技術を組み合わせて,サンプルごとの解釈可能性を維持する分布テストを作成する方法について述べる。 このようなテストでは、精度/リコールの改善などの指標よりも、モード低下やモード不均衡の度合いが最大60%向上していることが判明した。
  論文  参考訳（メタデータ） (2023-06-16T11:33:47Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Emerging Synergies in Causality and Deep Generative Models: A Survey [35.62192474181619]
  深部生成モデル (DGM) は複雑なデータ分布を捉えるのに適することが証明されているが、一般化と解釈可能性に欠けることが多い。 因果性は、データ生成を駆動するメカニズムを理解するための構造化レンズを提供し、これらのプロセスに固有の因果効果のダイナミクスを強調する。 我々は、DGMにおける因果原理の統合を解明し、DGMを用いた因果同定を調査し、大規模生成モデルにおける因果関係の新たな研究フロンティアを探索する。
  論文  参考訳（メタデータ） (2023-01-29T04:10:12Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)
• Riemannian Score-Based Generative Modeling [56.20669989459281]
  経験的性能を示すスコアベース生成モデル(SGM)を紹介する。 現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。 これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
  論文  参考訳（メタデータ） (2022-02-06T11:57:39Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• An Introduction to Deep Generative Modeling [8.909115457491522]
  深層生成モデル(dgm)は、複雑な高次元確率分布を近似するために多くの隠れ層を訓練したニューラルネットワークである。 DGMの紹介と3つの最もポピュラーなアプローチをモデリングするためのフレームワークを提供します。 私たちの目標は、読者がこの急成長する研究領域に貢献できるようにすることです。
  論文  参考訳（メタデータ） (2021-03-09T02:19:06Z)
• Flow-based Generative Models for Learning Manifold to Manifold Mappings [39.60406116984869]
  本稿では,フローベース生成モデルに類似した,多様体値データに対する可逆層を3種類導入する。 配向分布関数の分野の脳画像を確実にかつ正確に再構築できる有望な結果を示します。
  論文  参考訳（メタデータ） (2020-12-18T02:19:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。