論文の概要: Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization

• arxiv url: http://arxiv.org/abs/2402.01965v3
• Date: Wed, 22 May 2024 19:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 07:19:21.803674
• Title: Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization
• Title（参考訳）: 凸最適化によるニューラルネットワークに基づく生成拡散モデルの解析
• Authors: Fangzhao Zhang, Mert Pilanci,
• Abstract要約: 本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。 我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。 本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
• 参考スコア（独自算出の注目度）: 45.72323731094864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models are gaining widespread use in cutting-edge image, video, and audio generation. Score-based diffusion models stand out among these methods, necessitating the estimation of score function of the input data distribution. In this study, we present a theoretical framework to analyze two-layer neural network-based diffusion models by reframing score matching and denoising score matching as convex optimization. We prove that training shallow neural networks for score prediction can be done by solving a single convex program. Although most analyses of diffusion models operate in the asymptotic setting or rely on approximations, we characterize the exact predicted score function and establish convergence results for neural network-based diffusion models with finite data. Our results provide a precise characterization of what neural network-based diffusion models learn in non-asymptotic settings.
• Abstract（参考訳）: 拡散モデルは、最先端の画像、ビデオ、オーディオ生成で広く利用されている。 スコアベース拡散モデルでは,入力データ分布のスコア関数を推定する必要がある。 本研究では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。 我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。 拡散モデルのほとんどの解析は漸近的に行われるか近似に依存するが、正確な予測スコア関数を特徴づけ、有限データを持つニューラルネットワークベースの拡散モデルに対する収束結果を確立する。 本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Nonuniform random feature models using derivative information [10.239175197655266]
  ニューラルネットワークの初期化のための不均一なデータ駆動パラメータ分布を近似する関数の微分データに基づいて提案する。 We address the case of Heaviside and ReLU activation function and their smooth approximations (Sigmoid and softplus)。 入力点における近似微分データに基づいて、これらの正確な密度を単純化し、非常に効率的なサンプリングを可能にし、複数のシナリオにおいて最適なネットワークに近いランダムな特徴モデルの性能をもたらすことを提案する。
  論文  参考訳（メタデータ） (2024-10-03T01:30:13Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• The Hidden Linear Structure in Score-Based Models and its Application [2.1756081703276]
  十分に訓練された拡散モデルでは、高雑音スケールでの学習スコアはガウスの線形スコアによってよく近似されることを示す。 スコアベースモデルにおける線形構造の発見は、より良いモデル設計とデータ前処理に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-11-17T22:25:07Z)
• Deep Networks as Denoising Algorithms: Sample-Efficient Learning of Diffusion Models in High-Dimensional Graphical Models [22.353510613540564]
  生成モデルにおけるディープニューラルネットワークによるスコア関数の近似効率について検討する。 楽譜関数はしばしば変分推論法を用いてグラフィカルモデルでよく近似される。 深層ニューラルネットワークによってスコア関数が学習されるとき,拡散に基づく生成モデルに縛られた効率的なサンプル複雑性を提供する。
  論文  参考訳（メタデータ） (2023-09-20T15:51:10Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。