論文の概要: Discrete vs. Continuous Trade-offs for Generative Models
- arxiv url: http://arxiv.org/abs/2412.19114v1
- Date: Thu, 26 Dec 2024 08:14:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:27:15.907918
- Title: Discrete vs. Continuous Trade-offs for Generative Models
- Title（参考訳）: 生成モデルにおける離散的対連続的トレードオフ
- Authors: Jathin Korrapati, Tanish Baranwal, Rahul Shah,
- Abstract要約: 本研究は拡散確率モデル(DDPM)の理論的および実践的基礎を探求する。
プロセスとブラウン運動を利用して複雑なデータ分布をモデル化するDDPMとスコアベース生成モデル。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: This work explores the theoretical and practical foundations of denoising diffusion probabilistic models (DDPMs) and score-based generative models, which leverage stochastic processes and Brownian motion to model complex data distributions. These models employ forward and reverse diffusion processes defined through stochastic differential equations (SDEs) to iteratively add and remove noise, enabling high-quality data generation. By analyzing the performance bounds of these models, we demonstrate how score estimation errors propagate through the reverse process and bound the total variation distance using discrete Girsanov transformations, Pinsker's inequality, and the data processing inequality (DPI) for an information theoretic lens.
- Abstract（参考訳）: 本研究では,拡散確率モデル(DDPM)とスコアベース生成モデル(スコアベース生成モデル)の理論的および実践的基礎を考察し,確率過程とブラウン運動を利用して複雑なデータ分布をモデル化する。
これらのモデルは、確率微分方程式(SDE)によって定義される前方および逆拡散プロセスを用いて、ノイズを反復的に加算し除去し、高品質なデータ生成を可能にする。
これらのモデルの性能境界を解析することにより、スコア推定誤差が逆過程を通じて伝播し、離散ギルサノフ変換、ピンスカーの不等式、情報理論レンズのデータ処理不等式(DPI)を用いて全変動距離を束縛する方法を実証する。
関連論文リスト
- Continuous Diffusion Model for Language Modeling [57.396578974401734]
離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-02-17T08:54:29Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-12T22:26:52Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。
本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-07T14:34:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。