論文の概要: Analysis of learning a flow-based generative model from limited sample complexity

• arxiv url: http://arxiv.org/abs/2310.03575v1
• Date: Thu, 5 Oct 2023 14:53:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 15:51:05.748412
• Title: Analysis of learning a flow-based generative model from limited sample complexity
• Title（参考訳）: 限られたサンプル複雑さからのフローベース生成モデル学習の解析
• Authors: Hugo Cui, Florent Krzakala, Eric Vanden-Eijnden, Lenka Zdeborov\'a
• Abstract要約: 本研究では,2層オートエンコーダによりパラメータ化されたフローベース生成モデルの学習課題について,高次元ガウス混合系のサンプルとして検討する。
• 参考スコア（独自算出の注目度）: 30.772431869533943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of training a flow-based generative model, parametrized by a two-layer autoencoder, to sample from a high-dimensional Gaussian mixture. We provide a sharp end-to-end analysis of the problem. First, we provide a tight closed-form characterization of the learnt velocity field, when parametrized by a shallow denoising auto-encoder trained on a finite number $n$ of samples from the target distribution. Building on this analysis, we provide a sharp description of the corresponding generative flow, which pushes the base Gaussian density forward to an approximation of the target density. In particular, we provide closed-form formulae for the distance between the mean of the generated mixture and the mean of the target mixture, which we show decays as $\Theta_n(\frac{1}{n})$. Finally, this rate is shown to be in fact Bayes-optimal.
• Abstract（参考訳）: 本研究では,2層オートエンコーダによりパラメトリゼーションされたフローベース生成モデルを高次元ガウス混合液からの試料に訓練する問題について検討する。 我々はこの問題を鋭利なエンドツーエンド分析で分析する。 まず,対象分布から有限個のサンプル数n$で訓練された浅層消音オートエンコーダによってパラメータ化される場合,学習速度場の密閉型特性を示す。 この解析に基づいて, 基本ガウス密度を目標密度の近似に推し進める, 対応する生成フローの鮮明な記述を提供する。 特に、生成した混合物の平均とターゲット混合物の平均の間の距離に対する閉形式式を提供し、$\Theta_n(\frac{1}{n})$として崩壊を示す。 最後に、この値はベイズ最適であることが示されている。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  Rectified Flow (RF) は、一連の凸最適化問題を用いて、ノイズからデータへの直流軌跡の学習を目的としている。 RFは理論上、連続的な修正を通じて軌道を直線化し、サンプリング中の評価関数(NFE)の数を減少させる。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Characteristic Learning for Provable One Step Generation [3.0457054308731215]
  本稿では,GAN(Generative Adversarial Networks)におけるサンプリング効率とフローベースモデルの安定した性能を組み合わせた一段階生成モデルを提案する。 我々のモデルは、確率密度輸送を通常の微分方程式(ODE)で記述できる特性によって駆動される。 2-ワッサーシュタイン距離における特性発生器の非漸近収束速度を確立するために,速度マッチング,オイラー離散化,特性適合の誤差を解析した。
  論文  参考訳（メタデータ） (2024-05-09T02:41:42Z)
• Deep conditional distribution learning via conditional Föllmer flow [3.227277661633986]
  本研究では,条件F"ollmer Flow"という条件分布を学習するための常微分方程式(ODE)に基づく深部生成手法を提案する。 効率的な実装のために、我々は、深層ニューラルネットワークを用いて非パラメトリックに速度場を推定するオイラー法を用いて流れを判別する。
  論文  参考訳（メタデータ） (2024-02-02T14:52:10Z)
• Sampling in Unit Time with Kernel Fisher-Rao Flow [0.0]
  非正規化対象密度からサンプリングするための平均場ODEと対応する相互作用粒子系(IPS)を導入する。 IPSは勾配のない閉形式であり、参照密度からサンプリングし、(正規化されていない)ターゲット-参照密度比を計算する能力のみを必要とする。
  論文  参考訳（メタデータ） (2024-01-08T13:43:56Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Mean-Square Analysis of Discretized It\^o Diffusions for Heavy-tailed Sampling [17.415391025051434]
  重み付きポインカーの不等式に関連する伊藤拡散の自然クラスを離散化することにより、重み付き分布のクラスからのサンプリングの複雑さを分析する。 平均二乗解析に基づいて、ワッサーシュタイン2計量のターゲット分布に近い分布が$epsilon$のサンプルを得るための反復複雑性を確立する。
  論文  参考訳（メタデータ） (2023-03-01T15:16:03Z)
• Estimating conditional density of missing values using deep Gaussian mixture model [5.639904484784126]
  本稿では,ディープニューラルネットワークの柔軟性とガウス混合モデルの簡易性を組み合わせたアプローチを提案する。 我々は,本モデルが条件付きGMMよりもログ類似度が高いことを実験的に検証した。
  論文  参考訳（メタデータ） (2020-10-05T17:39:25Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。