論文の概要: Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers
- arxiv url: http://arxiv.org/abs/2410.13746v1
- Date: Thu, 17 Oct 2024 16:42:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:21:40.727587
- Title: Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers
- Title(参考訳): スコアミスマッチ拡散モデルとゼロショット条件サンプリングの理論
- Authors: Yuchen Liang, Peizhong Ju, Yingbin Liang, Ness Shroff,
- Abstract要約: 本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
- 参考スコア(独自算出の注目度): 49.97755400231656
- License:
- Abstract: The denoising diffusion model has recently emerged as a powerful generative technique, capable of transforming noise into meaningful data. While theoretical convergence guarantees for diffusion models are well established when the target distribution aligns with the training distribution, practical scenarios often present mismatches. One common case is in zero-shot conditional diffusion sampling, where the target conditional distribution is different from the (unconditional) training distribution. These score-mismatched diffusion models remain largely unexplored from a theoretical perspective. In this paper, we present the first performance guarantee with explicit dimensional dependencies for general score-mismatched diffusion samplers, focusing on target distributions with finite second moments. We show that score mismatches result in an asymptotic distributional bias between the target and sampling distributions, proportional to the accumulated mismatch between the target and training distributions. This result can be directly applied to zero-shot conditional samplers for any conditional model, irrespective of measurement noise. Interestingly, the derived convergence upper bound offers useful guidance for designing a novel bias-optimal zero-shot sampler in linear conditional models that minimizes the asymptotic bias. For such bias-optimal samplers, we further establish convergence guarantees with explicit dependencies on dimension and conditioning, applied to several interesting target distributions, including those with bounded support and Gaussian mixtures. Our findings are supported by numerical studies.
- Abstract(参考訳): 雑音を有意義なデータに変換することのできる強力な生成手法として,近年デノナイジング拡散モデルが登場している。
拡散モデルの理論的収束保証は、目標分布がトレーニング分布と整合するときによく確立されるが、現実的なシナリオはしばしばミスマッチを示す。
1つの一般的なケースはゼロショット条件拡散サンプリングであり、ターゲット条件分布は(非条件)訓練分布とは異なる。
これらのスコアミスマッチ拡散モデルは、理論的な観点からほとんど解明されていない。
本稿では,一般スコアミスマッチ拡散サンプリング器に対して,有限第2モーメントのターゲット分布に着目した明示的な次元依存性を持つ最初の性能保証を示す。
スコアミスマッチは, 目標分布とサンプリング分布の漸近分布バイアスを生じさせ, 目標分布とトレーニング分布の累積ミスマッチに比例することを示した。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
興味深いことに、導出収束上限は、漸近バイアスを最小限に抑える線形条件モデルにおいて、新しいバイアス最適化ゼロショットサンプリングを設計するための有用なガイダンスを提供する。
このようなバイアス-最適サンプリングでは、有界支持とガウス混合を含むいくつかの興味深い対象分布に適用し、次元と条件に明示的に依存する収束保証を更に確立する。
私たちの発見は数値的な研究によって裏付けられている。
関連論文リスト
- Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳(メタデータ) (2024-03-18T17:08:24Z) - Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。
我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。
また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
論文 参考訳(メタデータ) (2023-07-31T06:11:57Z) - Flow Away your Differences: Conditional Normalizing Flows as an
Improvement to Reweighting [0.0]
本稿では, 条件分布の所望の変化を考慮に入れた再重み付け手法の代替手法を提案する。
条件付き正規化フローを用いて、完全条件付き確率分布を学習する。
この例では、ソースとターゲットの分布を同一のサンプルサイズで再重み付けする手法よりも、統計精度が最大3倍に向上する。
論文 参考訳(メタデータ) (2023-04-28T16:33:50Z) - The Score-Difference Flow for Implicit Generative Modeling [1.309716118537215]
Inlicit Generative Modelingは、対象データ分布と一致する合成データのサンプルを作成することを目的としている。
最近の研究は、合成音源データをターゲット分布へプッシュする観点から、IGG問題にアプローチしている。
任意のターゲット分布とソース分布のスコア差を,Kulback-Leibler分散を最適に低減するフローとして提示する。
論文 参考訳(メタデータ) (2023-04-25T15:21:12Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Convergence of denoising diffusion models under the manifold hypothesis [3.096615629099617]
デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。
本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
論文 参考訳(メタデータ) (2022-08-10T12:50:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。