論文の概要: The Unreasonable Effectiveness of Gaussian Score Approximation for Diffusion Models and its Applications

• arxiv url: http://arxiv.org/abs/2412.09726v1
• Date: Thu, 12 Dec 2024 21:31:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:23.439552
• Title: The Unreasonable Effectiveness of Gaussian Score Approximation for Diffusion Models and its Applications
• Title（参考訳）: 拡散モデルに対するガウススコア近似の不合理な有効性とその応用
• Authors: Binxu Wang, John J. Vastola,
• Abstract要約: 学習したニューラルスコアと2種類の抽出可能な分布のスコアを比較した。 学習したニューラルスコアは、中等度から高雑音スケールに対する線形(ガウス)近似によって支配される。 その結果,試料品質を維持しつつ,最初の15～30%のサンプリングステップをスキップできることがわかった。
• 参考スコア（独自算出の注目度）: 1.8416014644193066
• License:
• Abstract: By learning the gradient of smoothed data distributions, diffusion models can iteratively generate samples from complex distributions. The learned score function enables their generalization capabilities, but how the learned score relates to the score of the underlying data manifold remains largely unclear. Here, we aim to elucidate this relationship by comparing learned neural scores to the scores of two kinds of analytically tractable distributions: Gaussians and Gaussian mixtures. The simplicity of the Gaussian model makes it theoretically attractive, and we show that it admits a closed-form solution and predicts many qualitative aspects of sample generation dynamics. We claim that the learned neural score is dominated by its linear (Gaussian) approximation for moderate to high noise scales, and supply both theoretical and empirical arguments to support this claim. Moreover, the Gaussian approximation empirically works for a larger range of noise scales than naive theory suggests it should, and is preferentially learned early in training. At smaller noise scales, we observe that learned scores are better described by a coarse-grained (Gaussian mixture) approximation of training data than by the score of the training distribution, a finding consistent with generalization. Our findings enable us to precisely predict the initial phase of trained models' sampling trajectories through their Gaussian approximations. We show that this allows the skipping of the first 15-30% of sampling steps while maintaining high sample quality (with a near state-of-the-art FID score of 1.93 on CIFAR-10 unconditional generation). This forms the foundation of a novel hybrid sampling method, termed analytical teleportation, which can seamlessly integrate with and accelerate existing samplers, including DPM-Solver-v3 and UniPC. Our findings suggest ways to improve the design and training of diffusion models.
• Abstract（参考訳）: 滑らかなデータ分布の勾配を学習することにより、拡散モデルは複雑な分布からサンプルを反復的に生成することができる。 学習したスコア関数はそれらの一般化機能を実現するが、学習したスコアが基礎となるデータ多様体のスコアとどのように関係するかはほとんど不明である。 本稿では,学習したニューラルスコアと,ガウス分布とガウス混合の2種類の抽出可能な分布のスコアを比較して,この関係を解明することを目的とする。 ガウス模型の単純さは理論的に魅力的であり、閉形式解を認め、サンプル生成力学の多くの質的な側面を予測することを示す。 学習されたニューラルスコアは、中程度から高い雑音スケールに対する線形(ガウス的)近似に支配され、この主張を支持する理論的および経験的な議論が提供される。 さらに、ガウス近似は、ナイーブ理論が示唆するよりも広い範囲のノイズスケールに対して経験的に作用し、訓練の初期に優先的に学習される。 より小さなノイズスケールでは、学習したスコアは、トレーニング分布のスコアよりも、トレーニングデータの粗粒度(ガウス混合)近似によりよりうまく記述され、一般化と整合する。 本研究は,ガウス近似を用いて,訓練されたモデルのサンプリング軌道の初期位相を正確に予測することを可能にする。 その結果,CIFAR-10の非条件発生時のFIDスコアは1.93であり,サンプリングステップの最初の15～30%は高い品質を維持しながらスキップ可能であることがわかった。 これは、DPM-Solver-v3やUniPCを含む既存のサンプルとシームレスに統合し、加速することができる、分析テレポーテーションと呼ばれる新しいハイブリッドサンプリング法の基盤を形成する。 その結果,拡散モデルの設計と訓練を改善する方法が示唆された。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Nearest Neighbour Score Estimators for Diffusion Generative Models [16.189734871742743]
  トレーニングセットから複数のサンプルを抽出し,推定値の分散を劇的に低減する新しい近傍スコア関数推定器を提案する。 拡散モデルでは,確率フローODE統合のための学習ネットワークを推定器で置き換えることができ,将来的な研究の新たな道が開かれる。
  論文  参考訳（メタデータ） (2024-02-12T19:27:30Z)
• The Hidden Linear Structure in Score-Based Models and its Application [2.1756081703276]
  十分に訓練された拡散モデルでは、高雑音スケールでの学習スコアはガウスの線形スコアによってよく近似されることを示す。 スコアベースモデルにおける線形構造の発見は、より良いモデル設計とデータ前処理に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-11-17T22:25:07Z)
• Learning Mixtures of Gaussians Using the DDPM Objective [11.086440815804226]
  本研究では, 拡散確率モデル(DDPM)の目標値の勾配勾配が混合モデルの真理パラメータを効率的に回収できることを証明した。 この証明の鍵となる要素は、スコアベース手法と他の2つの分散学習アプローチの新たな関連性である。
  論文  参考訳（メタデータ） (2023-07-03T17:44:22Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。