論文の概要: From memorization to generalization: a theoretical framework for diffusion-based generative models

• arxiv url: http://arxiv.org/abs/2411.17807v1
• Date: Tue, 26 Nov 2024 19:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:50.728325
• Title: From memorization to generalization: a theoretical framework for diffusion-based generative models
• Title（参考訳）: 記憶から一般化へ:拡散に基づく生成モデルの理論的枠組み
• Authors: Indranil Halder,
• Abstract要約: 拡散に基づく生成モデルは、トレーニングデータセットを記憶するから、トレーニングセットのサイズが大きくなるにつれて、非記憶状態に移行することを示す。 これは、モデルの記憶性能が低下する別のシナリオと対比されるが、一般化性能は改善しない。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Diffusion-based generative models demonstrate a transition from memorizing the training dataset to a non-memorization regime as the size of the training set increases. Here, we begin by introducing a mathematically precise definition of this transition in terms of a relative distance: the model is said to be in the non-memorization/`generalization' regime if the generated distribution is almost surely far from the probability distribution associated with a Gaussian kernel approximation to the training dataset, relative to the sampling distribution. Then, we develop an analytically tractable diffusion model and establish a lower bound on Kullback-Leibler divergence between the generated and sampling distribution. The model also features the transition, according to our definition in terms of the relative distance, when the training data is sampled from an isotropic Gaussian distribution. Further, our study reveals that this transition occurs when the individual distance between the generated and underlying sampling distribution begins to decrease with the addition of more training samples. This is to be contrasted with an alternative scenario, where the model's memorization performance degrades, but generalization performance doesn't improve. We also provide empirical evidence indicating that realistic diffusion models exhibit the same alignment of scales.
• Abstract（参考訳）: 拡散に基づく生成モデルは、トレーニングデータセットを記憶するから、トレーニングセットのサイズが大きくなるにつれて、非記憶状態に移行することを示す。 ここでは、この遷移の数学的に正確な定義を相対的な距離で導入することから始める:このモデルは、生成された分布が、サンプリング分布に対してガウス核近似に付随する確率分布からほぼ確実に離れている場合、非記憶/一般化状態にあると言われる。 そこで我々は, 解析的抽出可能な拡散モデルを構築し, 生成した分布とサンプリング分布とのKullback-Leiblerのばらつきを低く設定する。 モデルはまた、等方性ガウス分布からトレーニングデータがサンプリングされるとき、相対距離の観点から定義した遷移を特徴としている。 さらに,本研究では, 学習サンプルの追加により, 生成したサンプリング分布と基礎となるサンプリング分布との個人距離が減少し始めると, この遷移が生じることを明らかにした。 これは、モデルの記憶性能が低下する別のシナリオと対比されるが、一般化性能は改善しない。 また、現実的な拡散モデルがスケールのアライメントと同じであることを示す実証的な証拠も提示する。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
  一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
  論文  参考訳（メタデータ） (2023-10-11T06:04:40Z)
• Lipschitz Singularities in Diffusion Models [64.28196620345808]
  拡散モデルは、零点付近の時間変数に関して、しばしばネットワークの無限のリプシッツ特性を示す。 ゼロ点近傍の拡散モデルのリプシッツ特異点を緩和する新しい手法 E-TSDM を提案する。 我々の研究は、一般拡散過程の理解を深め、拡散モデルの設計に関する洞察を提供するかもしれない。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• Reconstructing Graph Diffusion History from a Single Snapshot [87.20550495678907]
  A single SnapsHot (DASH) から拡散履歴を再構築するための新しいバリセンターの定式化を提案する。 本研究では,拡散パラメータ推定のNP硬度により,拡散パラメータの推定誤差が避けられないことを証明する。 また、DITTO(Diffusion hitting Times with Optimal proposal)という効果的な解法も開発している。
  論文  参考訳（メタデータ） (2023-06-01T09:39:32Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)
• Mathematical analysis of singularities in the diffusion model under the submanifold assumption [0.0]
  後方サンプリングプロセスのドリフト項は、データ分布と前方拡散を含む条件予測として表現される。 トレーニングプロセスは,条件付き期待値に関連する平均2乗残差を最小化することにより,そのようなドリフト関数を求めることを目的としている。 DDPMにおける解析的平均ドリフト関数とSGMにおけるスコア関数が特異データ分布のサンプリングプロセスの最終段階に爆発的に現れることを示す。
  論文  参考訳（メタデータ） (2023-01-19T05:13:03Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。