Fugu-MT 論文翻訳(概要): Analysis of learning a flow-based generative model from limited sample complexity

論文の概要: Analysis of learning a flow-based generative model from limited sample complexity

arxiv url: http://arxiv.org/abs/2310.03575v2
Date: Tue, 25 Jun 2024 16:32:20 GMT
ステータス: 翻訳完了
システム内更新日: 2024-06-26 21:00:07.896768
Title: Analysis of learning a flow-based generative model from limited sample complexity
Title（参考訳）: 限られたサンプル複雑さからのフローベース生成モデル学習の解析
Authors: Hugo Cui, Florent Krzakala, Eric Vanden-Eijnden, Lenka Zdeborová,
Abstract要約: 本研究では,2層オートエンコーダによりパラメータ化されたフローベース生成モデルの学習課題について,高次元ガウス混合系のサンプルとして検討する。
参考スコア（独自算出の注目度）: 39.771578460963774
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the problem of training a flow-based generative model, parametrized by a two-layer autoencoder, to sample from a high-dimensional Gaussian mixture. We provide a sharp end-to-end analysis of the problem. First, we provide a tight closed-form characterization of the learnt velocity field, when parametrized by a shallow denoising auto-encoder trained on a finite number $n$ of samples from the target distribution. Building on this analysis, we provide a sharp description of the corresponding generative flow, which pushes the base Gaussian density forward to an approximation of the target density. In particular, we provide closed-form formulae for the distance between the mean of the generated mixture and the mean of the target mixture, which we show decays as $\Theta_n(\frac{1}{n})$. Finally, this rate is shown to be in fact Bayes-optimal.
Abstract（参考訳）: 本研究では,2層オートエンコーダによりパラメータ化されたフローベース生成モデルの学習課題について,高次元ガウス混合系のサンプルとして検討する。この問題を徹底的に分析する。まず,学習速度場の密閉形式解析を行い,対象分布から有限個のサンプルに対して学習した浅度デノナイジングオートエンコーダを用いてパラメータ化を行う。この解析に基づいて, 基本ガウス密度を目標密度の近似に推し進める, 対応する生成フローの鮮明な記述を提供する。特に、生成した混合物の平均とターゲット混合物の平均の間の距離に対する閉形式式を提供し、$\Theta_n(\frac{1}{n})$として崩壊を示す。最後に、この値は実際にベイズ最適であることが示されている。

関連論文リスト

Gaussian Mixture Flow Matching Models [51.976452482535954]
拡散モデルは正規分布をガウス平均として近似し,その平均を推定する一方,フローマッチングモデルはガウス平均をフロー速度としてパラメータ化する。離散化誤差による数段階のサンプリングでは性能が低下し、分類器フリーガイダンス(CFG)では過飽和色が生じる傾向にある。本稿では,CFGの過飽和問題を緩和し,画像生成品質を向上する新しい確率的ガイダンス手法を提案する。
論文参考訳（メタデータ） (2025-04-07T17:59:42Z)
From Denoising Score Matching to Langevin Sampling: A Fine-Grained Error Analysis in the Gaussian Setting [25.21429354164613]
本稿では,Langevin 拡散サンプリング装置を用いて,単純だが代表的な設定でサンプリング過程を解析する。 We show that the Wasserstein sample error can be expressed as a kernel-type norm of the data power spectrum。
論文参考訳（メタデータ） (2025-03-14T17:35:00Z)
Minimax Optimality of the Probability Flow ODE for Diffusion Models [8.15094483029656]
この研究は、決定論的ODEベースのサンプリングのための最初のエンドツーエンド理論フレームワークを開発する。 L2$のスコア誤差と関連する平均ジャコビアン誤差の両方を同時に制御するスムーズな正規化スコア推定器を提案する。得られたサンプルは全変動距離, 変調対数係数において最小値が得られることを示す。
論文参考訳（メタデータ） (2025-03-12T17:51:29Z)
Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文参考訳（メタデータ） (2024-10-19T02:36:11Z)
Characteristic Learning for Provable One Step Generation [3.0457054308731215]
本稿では,GAN(Generative Adversarial Networks)におけるサンプリング効率とフローベースモデルの安定した性能を組み合わせた一段階生成モデルを提案する。我々のモデルは、確率密度輸送を通常の微分方程式(ODE)で記述できる特性によって駆動される。 2-ワッサーシュタイン距離における特性発生器の非漸近収束速度を確立するために,速度マッチング,オイラー離散化,特性適合の誤差を解析した。
論文参考訳（メタデータ） (2024-05-09T02:41:42Z)
Deep conditional distribution learning via conditional Föllmer flow [3.227277661633986]
本研究では,条件F"ollmer Flow"という条件分布を学習するための常微分方程式(ODE)に基づく深部生成手法を提案する。効率的な実装のために、我々は、深層ニューラルネットワークを用いて非パラメトリックに速度場を推定するオイラー法を用いて流れを判別する。
論文参考訳（メタデータ） (2024-02-02T14:52:10Z)
Sampling in Unit Time with Kernel Fisher-Rao Flow [0.0]
非正規化対象密度からサンプリングするための平均場ODEと対応する相互作用粒子系(IPS)を導入する。 IPSは勾配のない閉形式であり、参照密度からサンプリングし、(正規化されていない)ターゲット-参照密度比を計算する能力のみを必要とする。
論文参考訳（メタデータ） (2024-01-08T13:43:56Z)
Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文参考訳（メタデータ） (2023-07-25T18:47:53Z)
Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文参考訳（メタデータ） (2023-06-13T17:56:02Z)
A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文参考訳（メタデータ） (2023-05-31T15:33:16Z)
Mean-Square Analysis of Discretized It\^o Diffusions for Heavy-tailed Sampling [17.415391025051434]
重み付きポインカーの不等式に関連する伊藤拡散の自然クラスを離散化することにより、重み付き分布のクラスからのサンプリングの複雑さを分析する。平均二乗解析に基づいて、ワッサーシュタイン2計量のターゲット分布に近い分布が$epsilon$のサンプルを得るための反復複雑性を確立する。
論文参考訳（メタデータ） (2023-03-01T15:16:03Z)
Estimating conditional density of missing values using deep Gaussian mixture model [5.639904484784126]
本稿では,ディープニューラルネットワークの柔軟性とガウス混合モデルの簡易性を組み合わせたアプローチを提案する。我々は,本モデルが条件付きGMMよりもログ類似度が高いことを実験的に検証した。
論文参考訳（メタデータ） (2020-10-05T17:39:25Z)
Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。