Fugu-MT 論文翻訳(概要): A precise asymptotic analysis of learning diffusion models: theory and insights

論文の概要: A precise asymptotic analysis of learning diffusion models: theory and insights

arxiv url: http://arxiv.org/abs/2501.03937v1
Date: Tue, 07 Jan 2025 16:56:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-08 15:46:12.217231
Title: A precise asymptotic analysis of learning diffusion models: theory and insights
Title（参考訳）: 学習拡散モデルの正確な漸近解析:理論と洞察
Authors: Hugo Cui, Cengiz Pehlevan, Yue M. Lu,
Abstract要約: 本稿では,2層自動エンコーダによりパラメータ化されたフローモデルや拡散モデルについて考察する。学習モデルにより生成されたサンプルの分布の低次元投影の厳密な特性を導出する。
参考スコア（独自算出の注目度）: 37.30894159200853
License:
Abstract: In this manuscript, we consider the problem of learning a flow or diffusion-based generative model parametrized by a two-layer auto-encoder, trained with online stochastic gradient descent, on a high-dimensional target density with an underlying low-dimensional manifold structure. We derive a tight asymptotic characterization of low-dimensional projections of the distribution of samples generated by the learned model, ascertaining in particular its dependence on the number of training samples. Building on this analysis, we discuss how mode collapse can arise, and lead to model collapse when the generative model is re-trained on generated synthetic data.
Abstract（参考訳）: 本稿では,2層自動エンコーダによりパラメータ化された流れや拡散に基づく生成モデルについて,基礎となる低次元多様体構造を持つ高次元ターゲット密度に基づいて学習する問題について考察する。学習モデルにより生成されたサンプルの分布の低次元投影の厳密な漸近的特徴を導出し,特にトレーニングサンプル数に依存していることを確認する。この分析に基づいて、モード崩壊がどのように発生し、生成モデルが生成した合成データに基づいて再学習されるとモデル崩壊が起こるかについて議論する。

関連論文リスト

Elucidating Flow Matching ODE Dynamics with Respect to Data Geometries [10.947094609205765]
拡散に基づく生成モデルが画像生成の標準となり, 学習ベクトル場によるサンプリングステップの削減により, 拡散モデルと比較して, ODEベースのサンプリングモデルとフローマッチングモデルにより効率が向上した。我々は,ODE力学を駆動するデノイザを中心に,サンプル軌道の包括的解析を通じて,フローマッチングモデルの理論を推し進める。解析により,グローバルなデータ特徴から局所構造への軌道の進化が明らかとなり,フローマッチングモデルにおけるサンプルごとの挙動の幾何学的特徴が得られた。
論文参考訳（メタデータ） (2024-12-25T01:17:15Z)
Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
論文参考訳（メタデータ） (2024-06-23T20:34:18Z)
Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
論文参考訳（メタデータ） (2024-06-21T01:32:03Z)
Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文参考訳（メタデータ） (2024-02-19T02:08:09Z)
A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文参考訳（メタデータ） (2023-05-31T15:33:16Z)
Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文参考訳（メタデータ） (2023-04-08T07:55:36Z)
Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文参考訳（メタデータ） (2023-02-14T17:02:35Z)
Diagnosing and Fixing Manifold Overfitting in Deep Generative Models [11.82509693248749]
ニューラルネットワークを使ってフレキシブルな高次元密度を構築する。観測データは高次元空間に埋め込まれた低次元多様体上に存在することを示す。そこで本研究では,次元削減ステップと最大線密度推定を併用した2段階の手順のクラスを提案する。
論文参考訳（メタデータ） (2022-04-14T18:00:03Z)
A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
論文参考訳（メタデータ） (2021-05-09T23:13:58Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。