論文の概要: A solvable generative model with a linear, one-step denoiser

• arxiv url: http://arxiv.org/abs/2411.17807v2
• Date: Thu, 23 Jan 2025 04:46:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:56:41.639444
• Title: A solvable generative model with a linear, one-step denoiser
• Title（参考訳）: 線形1ステップデノイザを用いた可解生成モデル
• Authors: Indranil Halder,
• Abstract要約: 線形デノイザに基づく解析的抽出可能な単一ステップ拡散モデルを構築した。 トレーニングデータセットのサイズがデータポイントの次元に達すると,Kulback-Leibler分散の単調落下相が始まります。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We develop an analytically tractable single-step diffusion model based on a linear denoiser and present explicit formula for the Kullback-Leibler divergence between generated and sampling distribution, taken to be isotropic Gaussian, showing the effect of finite diffusion time and noise scale. Our study further reveals that the monotonic fall phase of Kullback-Leibler divergence begins when the training dataset size reaches the dimension of the data points. Along the way, we provide a mathematically precise definition of memorization to non-memorization transition when only finite number of data points are available. It is shown that the simplified model also features this transition during the monotonic fall phase of the aforementioned Kullback-Leibler divergence. For large-scale practical diffusion models, we explain why higher number of diffusion steps enhance production quality based on the theoretical arguments presented before. In addition, we show that higher diffusion steps does not necessarily help in reducing memorization. These two facts combined suggests existence of an optimal number of diffusion steps for finite number of training samples.
• Abstract（参考訳）: 本研究では, 有限拡散時間と雑音スケールの影響を示す等方的ガウス分布とサンプリング分布のKulback-Leibler分散に関する解析的抽出可能な単一ステップ拡散モデルを構築した。 さらに,トレーニングデータセットのサイズがデータポイントの次元に達すると,Kulback-Leibler分散の単調落下相が始まります。 その過程で、有限個のデータポイントしか利用できない場合に、非記憶遷移に対する記憶の数学的に正確な定義を提供する。 単純化されたモデルはまた、前述のクルバック・リーブラー分岐の単調降下相の間、この遷移を特徴としている。 大規模実用拡散モデルでは,以前に提示した理論的議論に基づいて,拡散段数の増加が生産品質を向上させる理由を説明する。 さらに, 高い拡散ステップは, 記憶の減少に必ずしも寄与しないことを示す。 これら2つの事実を組み合わせると、有限個のトレーニングサンプルに対して最適な拡散ステップが存在することが示唆される。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
  一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
  論文  参考訳（メタデータ） (2023-10-11T06:04:40Z)
• Lipschitz Singularities in Diffusion Models [64.28196620345808]
  拡散モデルは、零点付近の時間変数に関して、しばしばネットワークの無限のリプシッツ特性を示す。 ゼロ点近傍の拡散モデルのリプシッツ特異点を緩和する新しい手法 E-TSDM を提案する。 我々の研究は、一般拡散過程の理解を深め、拡散モデルの設計に関する洞察を提供するかもしれない。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• Reconstructing Graph Diffusion History from a Single Snapshot [87.20550495678907]
  A single SnapsHot (DASH) から拡散履歴を再構築するための新しいバリセンターの定式化を提案する。 本研究では,拡散パラメータ推定のNP硬度により,拡散パラメータの推定誤差が避けられないことを証明する。 また、DITTO(Diffusion hitting Times with Optimal proposal)という効果的な解法も開発している。
  論文  参考訳（メタデータ） (2023-06-01T09:39:32Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)
• Mathematical analysis of singularities in the diffusion model under the submanifold assumption [0.0]
  後方サンプリングプロセスのドリフト項は、データ分布と前方拡散を含む条件予測として表現される。 トレーニングプロセスは,条件付き期待値に関連する平均2乗残差を最小化することにより,そのようなドリフト関数を求めることを目的としている。 DDPMにおける解析的平均ドリフト関数とSGMにおけるスコア関数が特異データ分布のサンプリングプロセスの最終段階に爆発的に現れることを示す。
  論文  参考訳（メタデータ） (2023-01-19T05:13:03Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。