論文の概要: Analysis of learning a flow-based generative model from limited sample
complexity
- arxiv url: http://arxiv.org/abs/2310.03575v1
- Date: Thu, 5 Oct 2023 14:53:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 15:51:05.748412
- Title: Analysis of learning a flow-based generative model from limited sample
complexity
- Title(参考訳): 限られたサンプル複雑さからのフローベース生成モデル学習の解析
- Authors: Hugo Cui, Florent Krzakala, Eric Vanden-Eijnden, Lenka Zdeborov\'a
- Abstract要約: 本研究では,2層オートエンコーダによりパラメータ化されたフローベース生成モデルの学習課題について,高次元ガウス混合系のサンプルとして検討する。
- 参考スコア(独自算出の注目度): 30.772431869533943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of training a flow-based generative model, parametrized
by a two-layer autoencoder, to sample from a high-dimensional Gaussian mixture.
We provide a sharp end-to-end analysis of the problem. First, we provide a
tight closed-form characterization of the learnt velocity field, when
parametrized by a shallow denoising auto-encoder trained on a finite number $n$
of samples from the target distribution. Building on this analysis, we provide
a sharp description of the corresponding generative flow, which pushes the base
Gaussian density forward to an approximation of the target density. In
particular, we provide closed-form formulae for the distance between the mean
of the generated mixture and the mean of the target mixture, which we show
decays as $\Theta_n(\frac{1}{n})$. Finally, this rate is shown to be in fact
Bayes-optimal.
- Abstract(参考訳): 本研究では,2層オートエンコーダによりパラメトリゼーションされたフローベース生成モデルを高次元ガウス混合液からの試料に訓練する問題について検討する。
我々はこの問題を鋭利なエンドツーエンド分析で分析する。
まず,対象分布から有限個のサンプル数n$で訓練された浅層消音オートエンコーダによってパラメータ化される場合,学習速度場の密閉型特性を示す。
この解析に基づいて, 基本ガウス密度を目標密度の近似に推し進める, 対応する生成フローの鮮明な記述を提供する。
特に、生成した混合物の平均とターゲット混合物の平均の間の距離に対する閉形式式を提供し、$\Theta_n(\frac{1}{n})$として崩壊を示す。
最後に、この値はベイズ最適であることが示されている。
関連論文リスト
- Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Deep Conditional Generative Learning: Model and Error Analysis [3.4623717820849476]
本稿では,Folmer Flowという条件分布を学習するための正規微分方程式に基づく深層生成手法を提案する。
実効的な実装のために、我々は、ディープニューラルネットワークを用いて非パラメトリックに速度場を推定する条件付き手法を用いて流れを識別する。
本研究では,学習したサンプルの分布と対象分布との間のワッサーシュタイン距離における非漸近収束率を導出し,ODEフローによる条件分布学習のための第1の総合的エンドツーエンド誤差解析を行う。
論文 参考訳(メタデータ) (2024-02-02T14:52:10Z) - Stable generative modeling using diffusion maps [0.24578723416255752]
拡散写像とランゲヴィン力学を組み合わせた生成モデルを提案する。
拡散マップは、利用可能なトレーニングサンプルからのドリフト項を近似するために使用される。
トレーニングサンプルの凸部内に生成したサンプルが残ることを保証し, 新たな分割ステップ方式を導入する。
論文 参考訳(メタデータ) (2024-01-09T06:15:45Z) - Sampling in Unit Time with Kernel Fisher-Rao Flow [0.0]
非正規化対象密度からサンプリングするための平均場ODEと対応する相互作用粒子系(IPS)を導入する。
IPSは勾配のない閉形式であり、参照密度からサンプリングし、(正規化されていない)ターゲット-参照密度比を計算する能力のみを必要とする。
論文 参考訳(メタデータ) (2024-01-08T13:43:56Z) - Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。
この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文 参考訳(メタデータ) (2023-07-25T18:47:53Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳(メタデータ) (2023-06-13T17:56:02Z) - Mean-Square Analysis of Discretized It\^o Diffusions for Heavy-tailed
Sampling [17.415391025051434]
重み付きポインカーの不等式に関連する伊藤拡散の自然クラスを離散化することにより、重み付き分布のクラスからのサンプリングの複雑さを分析する。
平均二乗解析に基づいて、ワッサーシュタイン2計量のターゲット分布に近い分布が$epsilon$のサンプルを得るための反復複雑性を確立する。
論文 参考訳(メタデータ) (2023-03-01T15:16:03Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳(メタデータ) (2022-08-18T16:07:59Z) - Estimating conditional density of missing values using deep Gaussian
mixture model [5.639904484784126]
本稿では,ディープニューラルネットワークの柔軟性とガウス混合モデルの簡易性を組み合わせたアプローチを提案する。
我々は,本モデルが条件付きGMMよりもログ類似度が高いことを実験的に検証した。
論文 参考訳(メタデータ) (2020-10-05T17:39:25Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳(メタデータ) (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。