論文の概要: Analyzing Neural Network-Based Generative Diffusion Models through
Convex Optimization
- arxiv url: http://arxiv.org/abs/2402.01965v1
- Date: Sat, 3 Feb 2024 00:20:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 23:15:45.848221
- Title: Analyzing Neural Network-Based Generative Diffusion Models through
Convex Optimization
- Title(参考訳): 凸最適化によるニューラルネットワークに基づく生成拡散モデルの解析
- Authors: Fangzhao Zhang, Mert Pilanci
- Abstract要約: 拡散モデルは画像、ビデオ、オーディオ生成に広く使われている。
スコアベース拡散モデルでは,入力データ分布のスコア関数を推定する必要がある。
この研究は、ニューラルネットワークベースの拡散モデルが漸近的でない環境で何を学ぶかを理解するのに寄与する。
- 参考スコア(独自算出の注目度): 54.01594785269913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models are becoming widely used in state-of-the-art image, video
and audio generation. Score-based diffusion models stand out among these
methods, necessitating the estimation of score function of the input data
distribution. In this study, we present a theoretical framework to analyze
two-layer neural network-based diffusion models by reframing score matching and
denoising score matching as convex optimization. Though existing diffusion
theory is mainly asymptotic, we characterize the exact predicted score function
and establish the convergence result for neural network-based diffusion models
with finite data. This work contributes to understanding what neural
network-based diffusion model learns in non-asymptotic settings.
- Abstract(参考訳): 拡散モデルは最先端の画像、ビデオ、オーディオ生成で広く使われている。
スコアに基づく拡散モデルは,入力データ分布のスコア関数の推定を必要とし,これらの手法の中で際立っている。
本研究では,2層ニューラルネットワークを用いた拡散モデルの解析のための理論的枠組みを提案する。
既存の拡散理論は主に漸近的であるが、正確な予測スコア関数を特徴付け、有限データを用いたニューラルネットワークに基づく拡散モデルの収束結果を確立する。
この研究は、非漸近的な環境でニューラルネットワークベースの拡散モデルが何を学ぶかを理解するのに役立つ。
関連論文リスト
- Convection-Diffusion Equation: A Theoretically Certified Framework for Neural Networks [14.01268607317875]
ニューラルネットワークの偏微分方程式モデルについて検討する。
この写像は対流拡散方程式で定式化できることを示す。
拡散機構をネットワークアーキテクチャに組み込んだ新しいネットワーク構造を設計する。
論文 参考訳(メタデータ) (2024-03-23T05:26:36Z) - Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳(メタデータ) (2024-03-18T17:08:24Z) - The Hidden Linear Structure in Score-Based Models and its Application [2.1756081703276]
十分に訓練された拡散モデルでは、高雑音スケールでの学習スコアはガウスの線形スコアによってよく近似されることを示す。
スコアベースモデルにおける線形構造の発見は、より良いモデル設計とデータ前処理に影響を及ぼす。
論文 参考訳(メタデータ) (2023-11-17T22:25:07Z) - Deep Networks as Denoising Algorithms: Sample-Efficient Learning of
Diffusion Models in High-Dimensional Graphical Models [22.353510613540564]
生成モデルにおけるディープニューラルネットワークによるスコア関数の近似効率について検討する。
楽譜関数はしばしば変分推論法を用いてグラフィカルモデルでよく近似される。
深層ニューラルネットワークによってスコア関数が学習されるとき,拡散に基づく生成モデルに縛られた効率的なサンプル複雑性を提供する。
論文 参考訳(メタデータ) (2023-09-20T15:51:10Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳(メタデータ) (2022-09-10T22:00:30Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。