論文の概要: How Discrete and Continuous Diffusion Meet: Comprehensive Analysis of Discrete Diffusion Models via a Stochastic Integral Framework

• arxiv url: http://arxiv.org/abs/2410.03601v1
• Date: Fri, 4 Oct 2024 16:59:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 21:08:10.488244
• Title: How Discrete and Continuous Diffusion Meet: Comprehensive Analysis of Discrete Diffusion Models via a Stochastic Integral Framework
• Title（参考訳）: 離散拡散と連続拡散:確率積分フレームワークによる離散拡散モデルの包括的解析
• Authors: Yinuo Ren, Haoxuan Chen, Grant M. Rotskoff, Lexing Ying,
• Abstract要約: L'evy型積分に基づく離散拡散モデルの誤差解析のための包括的フレームワークを提案する。 我々のフレームワークは、離散拡散モデルにおける現在の理論結果を統一し、強化する。
• 参考スコア（独自算出の注目度）: 11.71206628091551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models have gained increasing attention for their ability to model complex distributions with tractable sampling and inference. However, the error analysis for discrete diffusion models remains less well-understood. In this work, we propose a comprehensive framework for the error analysis of discrete diffusion models based on L\'evy-type stochastic integrals. By generalizing the Poisson random measure to that with a time-independent and state-dependent intensity, we rigorously establish a stochastic integral formulation of discrete diffusion models and provide the corresponding change of measure theorems that are intriguingly analogous to It\^o integrals and Girsanov's theorem for their continuous counterparts. Our framework unifies and strengthens the current theoretical results on discrete diffusion models and obtains the first error bound for the $\tau$-leaping scheme in KL divergence. With error sources clearly identified, our analysis gives new insight into the mathematical properties of discrete diffusion models and offers guidance for the design of efficient and accurate algorithms for real-world discrete diffusion model applications.
• Abstract（参考訳）: 離散拡散モデルは、抽出可能なサンプリングと推論で複雑な分布をモデル化する能力に注目が集まっている。 しかし、離散拡散モデルの誤差解析はよく理解されていない。 本研究では,L'evy型確率積分に基づく離散拡散モデルの誤差解析のための包括的フレームワークを提案する。 ポアソン確率測度を時間非依存かつ状態依存の強度で一般化することにより、離散拡散モデルの確率的積分定式化を厳格に確立し、それに対応する測度定理を、イット・オ積分やギルサノフの連続的な定理と類似した形で与える。 我々のフレームワークは離散拡散モデルにおける現在の理論結果を統一・強化し、KL分散における$\tau$-leapingスキームに対する最初のエラー境界を得る。 誤差源の特定により,離散拡散モデルの数学的性質を新たに把握し,実世界の離散拡散モデル応用のための効率的かつ正確なアルゴリズム設計のためのガイダンスを提供する。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Generative Modeling of Discrete Joint Distributions by E-Geodesic Flow Matching on Assignment Manifolds [0.8594140167290099]
  一般の非分解離散分布は、部分多様体をすべての合同離散分布のメタプレプレックスに埋め込むことで近似することができる。 離散分布を分解する測地線の流れをマッチングすることにより、生成モデルの効率的な訓練を実演する。
  論文  参考訳（メタデータ） (2024-02-12T17:56:52Z)
• Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
  拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。 これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。 我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。