論文の概要: Generalization Dynamics of Linear Diffusion Models

• arxiv url: http://arxiv.org/abs/2505.24769v1
• Date: Fri, 30 May 2025 16:31:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.071029
• Title: Generalization Dynamics of Linear Diffusion Models
• Title（参考訳）: 線形拡散モデルの一般化ダイナミクス
• Authors: Claudia Merger, Sebastian Goldt,
• Abstract要約: 線形デノイザを用いた簡単なモデルを用いて,記憶から一般化への遷移を解析的に検討する。 我々の研究は、拡散ベース生成モデルの単純なモデルにおいて、サンプルの複雑さが一般化をどのように支配するかを明らかにする。
• 参考スコア（独自算出の注目度）: 8.107431208836426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models trained on finite datasets with $N$ samples from a target distribution exhibit a transition from memorisation, where the model reproduces training examples, to generalisation, where it produces novel samples that reflect the underlying data distribution. Understanding this transition is key to characterising the sample efficiency and reliability of generative models, but our theoretical understanding of this transition is incomplete. Here, we analytically study the memorisation-to-generalisation transition in a simple model using linear denoisers, which allow explicit computation of test errors, sampling distributions, and Kullback-Leibler divergences between samples and target distribution. Using these measures, we predict that this transition occurs roughly when $N \asymp d$, the dimension of the inputs. When $N$ is smaller than the dimension of the inputs $d$, so that only a fraction of relevant directions of variation are present in the training data, we demonstrate how both regularization and early stopping help to prevent overfitting. For $N > d$, we find that the sampling distributions of linear diffusion models approach their optimum (measured by the Kullback-Leibler divergence) linearly with $d/N$, independent of the specifics of the data distribution. Our work clarifies how sample complexity governs generalisation in a simple model of diffusion-based generative models and provides insight into the training dynamics of linear denoisers.
• Abstract（参考訳）: 対象分布から$N$のサンプルを持つ有限データセットでトレーニングされた拡散モデルは、トレーニング例を再現する記憶から一般化へ移行し、基礎となるデータ分布を反映した新しいサンプルを生成する。 この遷移を理解することは、生成モデルのサンプル効率と信頼性を特徴づける鍵となるが、この遷移に関する理論的理解は不完全である。 本稿では,テストエラー,サンプリング分布,およびKullback-Leiblerの標本と対象分布の分岐を明示的に計算できる線形デノイザを用いた簡単なモデルを用いて,記憶と一般化の遷移を解析的に検討する。 これらの測度を用いて、この遷移は入力の次元である$N \asymp d$のときに起こると予測する。 N$が$d$の次元より小さい場合、トレーニングデータに変化のわずかな方向しか存在しないため、正規化と早期停止の両方がオーバーフィッティングを防ぐのにどう役立つかを実証する。 N > d$ の場合、線形拡散モデルのサンプリング分布は、データ分布の特異性に依存しない$d/N$ で線形にその最適値に近づく。 本研究は, 拡散型生成モデルの単純なモデルにおいて, サンプル複雑性が一般化をどのように支配するかを明らかにし, 線形デノイザのトレーニング力学に関する知見を提供する。

関連論文リスト

• Non-Normal Diffusion Models [3.5534933448684134]
  拡散モデルは、データをノイズに変える過程を漸進的に反転させることでサンプルを生成する。 ステップサイズが 0 となると、逆過程はこれらの増分分布に不変であることを示す。 本稿では,これらのモデルが標準画像データセット上での密度推定および生成モデリングタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2024-12-10T21:31:12Z)
• A solvable generative model with a linear, one-step denoiser [0.0]
  線形デノイザに基づく解析的抽出可能な単一ステップ拡散モデルを構築した。 トレーニングデータセットのサイズがデータポイントの次元に達すると,Kulback-Leibler分散の単調落下相が始まります。
  論文  参考訳（メタデータ） (2024-11-26T19:00:01Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Informed Correctors for Discrete Diffusion Models [31.814439169033616]
  本稿では, 近似誤差をより確実に対応させるために, 拡散モデルにより補正器が通知される予測器・補正器サンプリング方式を提案する。 トークン化された ImageNet 256x256 において、この手法はより少ないステップで優れたサンプルを生成し、離散拡散モデルのFIDスコアを改良した。
  論文  参考訳（メタデータ） (2024-07-30T23:29:29Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Lecture Notes in Probabilistic Diffusion Models [0.5361320134021585]
  拡散モデルは非平衡熱力学に基づいてゆるやかにモデル化される。 拡散モデルは、元のデータサンプルが属するデータ多様体を学習する。 拡散モデルは、変分オートエンコーダやフローモデルとは異なり、元のデータと同じ次元の潜伏変数を持つ。
  論文  参考訳（メタデータ） (2023-12-16T09:36:54Z)
• Generative Diffusion From An Action Principle [0.0]
  スコアマッチングは、物理でよく用いられるようなアクション原理から導出できることを示す。 この洞察を用いて、異なる拡散モデルのクラス間の関係を実証する。
  論文  参考訳（メタデータ） (2023-10-06T18:00:00Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。