論文の概要: Analyzing Neural Network-Based Generative Diffusion Models through
Convex Optimization
- arxiv url: http://arxiv.org/abs/2402.01965v2
- Date: Tue, 6 Feb 2024 01:37:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 11:23:31.007543
- Title: Analyzing Neural Network-Based Generative Diffusion Models through
Convex Optimization
- Title(参考訳): 凸最適化によるニューラルネットワークに基づく生成拡散モデルの解析
- Authors: Fangzhao Zhang, Mert Pilanci
- Abstract要約: 拡散モデルは画像、ビデオ、オーディオ生成に広く使われている。
スコアベース拡散モデルでは,入力データ分布のスコア関数を推定する必要がある。
この研究は、ニューラルネットワークベースの拡散モデルが漸近的でない環境で何を学ぶかを理解するのに寄与する。
- 参考スコア(独自算出の注目度): 54.01594785269913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models are becoming widely used in state-of-the-art image, video
and audio generation. Score-based diffusion models stand out among these
methods, necessitating the estimation of score function of the input data
distribution. In this study, we present a theoretical framework to analyze
two-layer neural network-based diffusion models by reframing score matching and
denoising score matching as convex optimization. Though existing diffusion
theory is mainly asymptotic, we characterize the exact predicted score function
and establish the convergence result for neural network-based diffusion models
with finite data. This work contributes to understanding what neural
network-based diffusion model learns in non-asymptotic settings.
- Abstract(参考訳): 拡散モデルは最先端の画像、ビデオ、オーディオ生成で広く使われている。
スコアに基づく拡散モデルは,入力データ分布のスコア関数の推定を必要とし,これらの手法の中で際立っている。
本研究では,2層ニューラルネットワークを用いた拡散モデルの解析のための理論的枠組みを提案する。
既存の拡散理論は主に漸近的であるが、正確な予測スコア関数を特徴付け、有限データを用いたニューラルネットワークに基づく拡散モデルの収束結果を確立する。
この研究は、非漸近的な環境でニューラルネットワークベースの拡散モデルが何を学ぶかを理解するのに役立つ。
関連論文リスト
- The Hidden Linear Structure in Score-Based Models and its Application [2.1756081703276]
十分に訓練された拡散モデルでは、高雑音スケールでの学習スコアはガウスの線形スコアによってよく近似されることを示す。
スコアベースモデルにおける線形構造の発見は、より良いモデル設計とデータ前処理に影響を及ぼす。
論文 参考訳(メタデータ) (2023-11-17T22:25:07Z) - Generative Diffusion From An Action Principle [0.0]
スコアマッチングは、物理でよく用いられるようなアクション原理から導出できることを示す。
この洞察を用いて、異なる拡散モデルのクラス間の関係を実証する。
論文 参考訳(メタデータ) (2023-10-06T18:00:00Z) - Deep Networks as Denoising Algorithms: Sample-Efficient Learning of
Diffusion Models in High-Dimensional Graphical Models [22.353510613540564]
生成モデルにおけるディープニューラルネットワークによるスコア関数の近似効率について検討する。
楽譜関数はしばしば変分推論法を用いてグラフィカルモデルでよく近似される。
深層ニューラルネットワークによってスコア関数が学習されるとき,拡散に基づく生成モデルに縛られた効率的なサンプル複雑性を提供する。
論文 参考訳(メタデータ) (2023-09-20T15:51:10Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳(メタデータ) (2022-09-10T22:00:30Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。