論文の概要: On Deep Generative Models for Approximation and Estimation of Distributions on Manifolds

• arxiv url: http://arxiv.org/abs/2302.13183v1
• Date: Sat, 25 Feb 2023 22:34:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 18:31:14.294646
• Title: On Deep Generative Models for Approximation and Estimation of Distributions on Manifolds
• Title（参考訳）: 多様体上の分布の近似と推定のための深部生成モデルについて
• Authors: Biraj Dahal, Alex Havrilla, Minshuo Chen, Tuo Zhao, Wenjing Liao
• Abstract要約: 生成ネットワークは、低次元の簡単サンプル分布から高次元の複素データを生成することができる。 このような低次元データ構造を、低次元多様体上でのデータ分布が支えられていると仮定して検討する。 ワッサーシュタイン-1の損失は、周囲のデータ次元ではなく内在次元に依存する速度でゼロに収束することを示す。
• 参考スコア（独自算出の注目度）: 38.311376714689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative networks have experienced great empirical successes in distribution learning. Many existing experiments have demonstrated that generative networks can generate high-dimensional complex data from a low-dimensional easy-to-sample distribution. However, this phenomenon can not be justified by existing theories. The widely held manifold hypothesis speculates that real-world data sets, such as natural images and signals, exhibit low-dimensional geometric structures. In this paper, we take such low-dimensional data structures into consideration by assuming that data distributions are supported on a low-dimensional manifold. We prove statistical guarantees of generative networks under the Wasserstein-1 loss. We show that the Wasserstein-1 loss converges to zero at a fast rate depending on the intrinsic dimension instead of the ambient data dimension. Our theory leverages the low-dimensional geometric structures in data sets and justifies the practical power of generative networks. We require no smoothness assumptions on the data distribution which is desirable in practice.
• Abstract（参考訳）: 生成ネットワークは分散学習において大きな成功を収めてきた。 多くの既存の実験では、生成ネットワークは低次元の簡単サンプル分布から高次元の複素データを生成することができる。 しかし、この現象は既存の理論では正当化できない。 広く知られている多様体仮説は、自然画像や信号のような実世界のデータセットは低次元の幾何学構造を示すと推測している。 本稿では,低次元多様体上でのデータ分布が支持されていることを仮定して,そのような低次元データ構造を考察する。 我々はwasserstein-1の損失の下で生成ネットワークの統計的保証を証明する。 ワッサーシュタイン-1の損失は、周囲のデータ次元ではなく内在次元に依存する速度でゼロに収束することを示す。 本理論は,データセットの低次元幾何構造を活用し,生成ネットワークの実用性を正当化する。 実際に望ましいデータ分布について、スムーズな仮定は必要ありません。

関連論文リスト

• Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions [6.9408143976091745]
  Denoising Diffusion Probabilistic Models (DDPM)は、高次元データ分布から合成データを生成するために使用される強力な最先端手法である。 我々は、多様体仮説の下でDDPMを研究し、スコアの学習の観点から、周囲次元に依存しないレートを達成することを証明した。 サンプリングの面では、周囲次元 w.r.t, Kullback-Leibler 発散率 w.r.t, $O(sqrtD)$ w.r.t. ワッサーシュタイン距離 w.r.t に依存しないレートを得る。
  論文  参考訳（メタデータ） (2024-09-27T14:57:18Z)
• Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks [7.958528596692594]
  我々は、潜伏ワッサーシュタインガン(LWGAN)と呼ばれる新しい枠組みを提案する。 ワッサーシュタイン自己エンコーダとワッサーシュタイン GANを融合させ、データ多様体の内在次元を適応的に学習できるようにする。 我々は,LWGANが複数のシナリオにおいて,正しい固有次元を識別可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-27T01:25:22Z)
• Hardness of Learning Neural Networks under the Manifold Hypothesis [3.2635082758250693]
  多様体仮説は、高次元データが低次元多様体上または近辺にあると仮定する。 多様体仮説に基づく学習の難しさについて検討する。 データ多様体の体積に関する追加の仮定は、これらの基本的な制限を緩和することを示します。
  論文  参考訳（メタデータ） (2024-06-03T15:50:32Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
  正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。 摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。 最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
  論文  参考訳（メタデータ） (2022-08-18T16:07:59Z)
• Intrinsic Dimension Estimation [92.87600241234344]
  内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。 次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
  論文  参考訳（メタデータ） (2021-06-08T00:05:39Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Learning a Deep Part-based Representation by Preserving Data Distribution [21.13421736154956]
  教師なし次元減少は、高次元データ認識問題において一般的に用いられる技法の1つである。 本稿では,データ分布を保存することにより,深部部分に基づく表現を学習し,新しいアルゴリズムを分散保存ネットワーク埋め込みと呼ぶ。 実世界のデータセットにおける実験結果から,提案アルゴリズムはクラスタ精度とAMIの点で優れた性能を示した。
  論文  参考訳（メタデータ） (2020-09-17T12:49:36Z)
• Normal-bundle Bootstrap [2.741266294612776]
  本稿では,与えられたデータセットの幾何学的構造を保持する新しいデータを生成する手法を提案する。 微分幾何学における多様体学習と概念のアルゴリズムにインスパイアされた本手法は,基礎となる確率測度を余分化測度に分解する。 本手法は, 密度リッジおよび関連統計量の推定に応用し, オーバーフィッティングを低減するためにデータ拡張を行う。
  論文  参考訳（メタデータ） (2020-07-27T21:14:19Z)
• Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks [82.61546580149427]
  GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。 本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
  論文  参考訳（メタデータ） (2020-02-10T16:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。