論文の概要: Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers

• arxiv url: http://arxiv.org/abs/2410.13746v1
• Date: Thu, 17 Oct 2024 16:42:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:40.727587
• Title: Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers
• Title（参考訳）: スコアミスマッチ拡散モデルとゼロショット条件サンプリングの理論
• Authors: Yuchen Liang, Peizhong Ju, Yingbin Liang, Ness Shroff,
• Abstract要約: 本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
• 参考スコア（独自算出の注目度）: 49.97755400231656
• License:
• Abstract: The denoising diffusion model has recently emerged as a powerful generative technique, capable of transforming noise into meaningful data. While theoretical convergence guarantees for diffusion models are well established when the target distribution aligns with the training distribution, practical scenarios often present mismatches. One common case is in zero-shot conditional diffusion sampling, where the target conditional distribution is different from the (unconditional) training distribution. These score-mismatched diffusion models remain largely unexplored from a theoretical perspective. In this paper, we present the first performance guarantee with explicit dimensional dependencies for general score-mismatched diffusion samplers, focusing on target distributions with finite second moments. We show that score mismatches result in an asymptotic distributional bias between the target and sampling distributions, proportional to the accumulated mismatch between the target and training distributions. This result can be directly applied to zero-shot conditional samplers for any conditional model, irrespective of measurement noise. Interestingly, the derived convergence upper bound offers useful guidance for designing a novel bias-optimal zero-shot sampler in linear conditional models that minimizes the asymptotic bias. For such bias-optimal samplers, we further establish convergence guarantees with explicit dependencies on dimension and conditioning, applied to several interesting target distributions, including those with bounded support and Gaussian mixtures. Our findings are supported by numerical studies.
• Abstract（参考訳）: 雑音を有意義なデータに変換することのできる強力な生成手法として,近年デノナイジング拡散モデルが登場している。 拡散モデルの理論的収束保証は、目標分布がトレーニング分布と整合するときによく確立されるが、現実的なシナリオはしばしばミスマッチを示す。 1つの一般的なケースはゼロショット条件拡散サンプリングであり、ターゲット条件分布は(非条件)訓練分布とは異なる。 これらのスコアミスマッチ拡散モデルは、理論的な観点からほとんど解明されていない。 本稿では,一般スコアミスマッチ拡散サンプリング器に対して,有限第2モーメントのターゲット分布に着目した明示的な次元依存性を持つ最初の性能保証を示す。 スコアミスマッチは, 目標分布とサンプリング分布の漸近分布バイアスを生じさせ, 目標分布とトレーニング分布の累積ミスマッチに比例することを示した。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。 興味深いことに、導出収束上限は、漸近バイアスを最小限に抑える線形条件モデルにおいて、新しいバイアス最適化ゼロショットサンプリングを設計するための有用なガイダンスを提供する。 このようなバイアス-最適サンプリングでは、有界支持とガウス混合を含むいくつかの興味深い対象分布に適用し、次元と条件に明示的に依存する収束保証を更に確立する。 私たちの発見は数値的な研究によって裏付けられている。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Conditional sampling within generative diffusion models [12.608803080528142]
  生成拡散モデルにおける条件付きサンプリングに対する既存の計算手法について概説する。 共同分布を利用するか、あるいは明示的な可能性を持つ(事前訓練された)境界分布に依存する重要な手法を強調します。
  論文  参考訳（メタデータ） (2024-09-15T07:48:40Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
  本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。 我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。 また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
  論文  参考訳（メタデータ） (2023-07-31T06:11:57Z)
• Flow Away your Differences: Conditional Normalizing Flows as an Improvement to Reweighting [0.0]
  本稿では, 条件分布の所望の変化を考慮に入れた再重み付け手法の代替手法を提案する。 条件付き正規化フローを用いて、完全条件付き確率分布を学習する。 この例では、ソースとターゲットの分布を同一のサンプルサイズで再重み付けする手法よりも、統計精度が最大3倍に向上する。
  論文  参考訳（メタデータ） (2023-04-28T16:33:50Z)
• The Score-Difference Flow for Implicit Generative Modeling [1.309716118537215]
  Inlicit Generative Modelingは、対象データ分布と一致する合成データのサンプルを作成することを目的としている。 最近の研究は、合成音源データをターゲット分布へプッシュする観点から、IGG問題にアプローチしている。 任意のターゲット分布とソース分布のスコア差を,Kulback-Leibler分散を最適に低減するフローとして提示する。
  論文  参考訳（メタデータ） (2023-04-25T15:21:12Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Convergence of denoising diffusion models under the manifold hypothesis [3.096615629099617]
  デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。 本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
  論文  参考訳（メタデータ） (2022-08-10T12:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。