論文の概要: Deep Generative Models: Complexity, Dimensionality, and Approximation
- arxiv url: http://arxiv.org/abs/2504.00820v1
- Date: Tue, 01 Apr 2025 14:07:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:23:39.098927
- Title: Deep Generative Models: Complexity, Dimensionality, and Approximation
- Title（参考訳）: 深部生成モデル:複雑さ、次元性、近似
- Authors: Kevin Wang, Hongqian Niu, Yixin Wang, Didong Li,
- Abstract要約: 生成ネットワークは低次元入力から高次元データを生成することができることを示す。
本研究は,入力次元と生成ネットワークによるデータ分布のモデル化能力の関係について考察した。
この新たな洞察は、複雑なデータ構造を扱うための生成ネットワークの実用的効果を裏付けるだけでなく、近似誤差、次元性、モデルの複雑さの間の重要なトレードオフを浮き彫りにする。
- 参考スコア（独自算出の注目度）: 18.530164193967945
- License:
- Abstract: Generative networks have shown remarkable success in learning complex data distributions, particularly in generating high-dimensional data from lower-dimensional inputs. While this capability is well-documented empirically, its theoretical underpinning remains unclear. One common theoretical explanation appeals to the widely accepted manifold hypothesis, which suggests that many real-world datasets, such as images and signals, often possess intrinsic low-dimensional geometric structures. Under this manifold hypothesis, it is widely believed that to approximate a distribution on a $d$-dimensional Riemannian manifold, the latent dimension needs to be at least $d$ or $d+1$. In this work, we show that this requirement on the latent dimension is not necessary by demonstrating that generative networks can approximate distributions on $d$-dimensional Riemannian manifolds from inputs of any arbitrary dimension, even lower than $d$, taking inspiration from the concept of space-filling curves. This approach, in turn, leads to a super-exponential complexity bound of the deep neural networks through expanded neurons. Our findings thus challenge the conventional belief on the relationship between input dimensionality and the ability of generative networks to model data distributions. This novel insight not only corroborates the practical effectiveness of generative networks in handling complex data structures, but also underscores a critical trade-off between approximation error, dimensionality, and model complexity.
- Abstract（参考訳）: 生成ネットワークは複雑なデータ分布、特に低次元入力から高次元データを生成する際に顕著な成功を収めている。
この能力は実証的によく文書化されているが、理論的な基盤は未だ不明である。
この仮説は、画像や信号のような多くの実世界のデータセットが、しばしば本質的な低次元幾何学的構造を持っていることを示唆している。
この多様体仮説の下では、$d$-次元リーマン多様体上の分布を近似するために、潜在次元は少なくとも$d$または$d+1$である必要があると広く信じられている。
本研究では、任意の任意の次元の入力から$d$-次元リーマン多様体上の分布を近似できることを証明し、空間充填曲線の概念から着想を得て、潜在次元上のこの要件が不要であることを示す。
このアプローチは、拡張されたニューロンを介して、ディープニューラルネットワークの超指数複雑性を束縛する。
そこで本研究では,入力次元と生成ネットワークがデータ分散をモデル化する能力の関係について,従来の信念に異議を唱える。
この新たな洞察は、複雑なデータ構造を扱うための生成ネットワークの実用的効果を裏付けるだけでなく、近似誤差、次元性、モデルの複雑さの間の重要なトレードオフを浮き彫りにする。
関連論文リスト
- A Theoretical Study of Neural Network Expressive Power via Manifold Topology [9.054396245059555]
実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。
本研究では,潜在データ多様体のネットワーク表現力について検討する。
本稿では,ReLUニューラルネットワークのサイズ上限について述べる。
論文 参考訳（メタデータ） (2024-10-21T22:10:24Z) - Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks [7.958528596692594]
我々は、潜伏ワッサーシュタインガン(LWGAN)と呼ばれる新しい枠組みを提案する。
ワッサーシュタイン自己エンコーダとワッサーシュタイン GANを融合させ、データ多様体の内在次元を適応的に学習できるようにする。
我々は,LWGANが複数のシナリオにおいて,正しい固有次元を識別可能であることを示す。
論文 参考訳（メタデータ） (2024-09-27T01:25:22Z) - Hardness of Learning Neural Networks under the Manifold Hypothesis [3.2635082758250693]
多様体仮説は、高次元データが低次元多様体上または近辺にあると仮定する。
多様体仮説に基づく学習の難しさについて検討する。
データ多様体の体積に関する追加の仮定は、これらの基本的な制限を緩和することを示します。
論文 参考訳（メタデータ） (2024-06-03T15:50:32Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - On Deep Generative Models for Approximation and Estimation of
Distributions on Manifolds [38.311376714689]
生成ネットワークは、低次元の簡単サンプル分布から高次元の複素データを生成することができる。
このような低次元データ構造を、低次元多様体上でのデータ分布が支えられていると仮定して検討する。
ワッサーシュタイン-1の損失は、周囲のデータ次元ではなく内在次元に依存する速度でゼロに収束することを示す。
論文 参考訳（メタデータ） (2023-02-25T22:34:19Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳（メタデータ） (2023-02-14T17:02:35Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。
要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
論文 参考訳（メタデータ） (2022-10-01T21:17:39Z) - Intrinsic dimension estimation for discrete metrics [65.5438227932088]
本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。
我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。
このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
論文 参考訳（メタデータ） (2022-07-20T06:38:36Z) - Besov Function Approximation and Binary Classification on
Low-Dimensional Manifolds Using Convolutional Residual Networks [42.43493635899849]
畳み込み残余ネットワーク(ConvResNet)の理論的保証を関数近似および二項分類の統計的推定の観点から確立する。
その結果,ConvResNetsはデータセットの低次元構造に適応していることがわかった。
論文 参考訳（メタデータ） (2021-09-07T02:58:11Z) - Intrinsic Dimension Estimation [92.87600241234344]
内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。
次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
論文 参考訳（メタデータ） (2021-06-08T00:05:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。