Fugu-MT 論文翻訳(概要): Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization

論文の概要: Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization

arxiv url: http://arxiv.org/abs/2402.01965v1
Date: Sat, 3 Feb 2024 00:20:25 GMT
ステータス: 処理完了
システム内更新日: 2024-02-06 23:15:45.848221
Title: Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization
Title（参考訳）: 凸最適化によるニューラルネットワークに基づく生成拡散モデルの解析
Authors: Fangzhao Zhang, Mert Pilanci
Abstract要約: 拡散モデルは画像、ビデオ、オーディオ生成に広く使われている。スコアベース拡散モデルでは,入力データ分布のスコア関数を推定する必要がある。この研究は、ニューラルネットワークベースの拡散モデルが漸近的でない環境で何を学ぶかを理解するのに寄与する。
参考スコア（独自算出の注目度）: 54.01594785269913
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Diffusion models are becoming widely used in state-of-the-art image, video and audio generation. Score-based diffusion models stand out among these methods, necessitating the estimation of score function of the input data distribution. In this study, we present a theoretical framework to analyze two-layer neural network-based diffusion models by reframing score matching and denoising score matching as convex optimization. Though existing diffusion theory is mainly asymptotic, we characterize the exact predicted score function and establish the convergence result for neural network-based diffusion models with finite data. This work contributes to understanding what neural network-based diffusion model learns in non-asymptotic settings.
Abstract（参考訳）: 拡散モデルは最先端の画像、ビデオ、オーディオ生成で広く使われている。スコアに基づく拡散モデルは,入力データ分布のスコア関数の推定を必要とし,これらの手法の中で際立っている。本研究では,2層ニューラルネットワークを用いた拡散モデルの解析のための理論的枠組みを提案する。既存の拡散理論は主に漸近的であるが、正確な予測スコア関数を特徴付け、有限データを用いたニューラルネットワークに基づく拡散モデルの収束結果を確立する。この研究は、非漸近的な環境でニューラルネットワークベースの拡散モデルが何を学ぶかを理解するのに役立つ。

関連論文リスト

Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
論文参考訳（メタデータ） (2024-11-02T07:06:53Z)
Nonuniform random feature models using derivative information [10.239175197655266]
ニューラルネットワークの初期化のための不均一なデータ駆動パラメータ分布を近似する関数の微分データに基づいて提案する。 We address the case of Heaviside and ReLU activation function and their smooth approximations (Sigmoid and softplus)。入力点における近似微分データに基づいて、これらの正確な密度を単純化し、非常に効率的なサンプリングを可能にし、複数のシナリオにおいて最適なネットワークに近いランダムな特徴モデルの性能をもたらすことを提案する。
論文参考訳（メタデータ） (2024-10-03T01:30:13Z)
BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
論文参考訳（メタデータ） (2024-03-23T08:40:38Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
The Hidden Linear Structure in Score-Based Models and its Application [2.1756081703276]
十分に訓練された拡散モデルでは、高雑音スケールでの学習スコアはガウスの線形スコアによってよく近似されることを示す。スコアベースモデルにおける線形構造の発見は、より良いモデル設計とデータ前処理に影響を及ぼす。
論文参考訳（メタデータ） (2023-11-17T22:25:07Z)
Deep Networks as Denoising Algorithms: Sample-Efficient Learning of Diffusion Models in High-Dimensional Graphical Models [22.353510613540564]
生成モデルにおけるディープニューラルネットワークによるスコア関数の近似効率について検討する。楽譜関数はしばしば変分推論法を用いてグラフィカルモデルでよく近似される。深層ニューラルネットワークによってスコア関数が学習されるとき,拡散に基づく生成モデルに縛られた効率的なサンプル複雑性を提供する。
論文参考訳（メタデータ） (2023-09-20T15:51:10Z)
Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文参考訳（メタデータ） (2023-02-14T17:02:35Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。平均場近似式を用いて解析的に難解な積分を計算する。実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文参考訳（メタデータ） (2020-06-13T07:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。