論文の概要: First Learn, Then Memorize: The Spectral Bias of Diffusion Models

• arxiv url: http://arxiv.org/abs/2609.35377v1
• Date: Mon, 28 Sep 2026 15:13:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:00:50.233987
• Title: First Learn, Then Memorize: The Spectral Bias of Diffusion Models
• Title（参考訳）: 第一に学習し、そして記憶する:拡散モデルのスペクトルバイアス
• Abstract要約: 有限データセットでトレーニングされた拡散モデルは、まず新しい高品質なサンプルを生成することを学ぶ。 我々は、それを探査する物体のこの分離の背後にあるメカニズムを同定する。 スコア関数のトレーニング力学は、実際に、任意の幅において、ニューラル・タンジェント・カーネル(NTK)のグラム行列によって制御される。 それらの構造が標準のカーネル設定に類似していないことを示す。
• 参考スコア（独自算出の注目度）: 5.939780039158003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models trained on a finite dataset first learn to generate novel, high-quality samples and only much later collapse onto their training set. We identify the mechanism behind this separation of timescales and the object that probes it. The training dynamics of the score function are governed---exactly, and at any width---by the Gram matrix of the Neural Tangent Kernel (NTK) evaluated on the noisy training data, so the timescales of generalization and of memorization must be encoded in its spectrum. We show that they are, and that the structure responsible has no analogue in standard kernel settings. The use of multiple noise realizations per sample ($m$ noised copies at a fixed noise level) in the score-matching loss is what restructures the Gram matrix spectrum into two distinct parts. The first, of large eigenvalues, carries the global features of the target distribution and is present already for $m=1$. The second, which the repeated noising creates, consists of the smallest eigenvalues and is supported on eigenvectors aligned with the sample-specific noise directions; it sets a memorization timescale parametrically larger in the training set size $n$. We establish this picture on two fronts. Analytically, we solve the spectrum in the lazy high-dimensional limit for both linear ($n \asymp d$) and polynomial ($n \asymp d^k$) sample complexities, and prove through a bias--variance decomposition that the first bulk minimizes the approximation error while the second drives the error associated with memorization. Empirically, we show the same two-bulk structure in Convolutional NTKs on CelebA and in finite-width U-Nets trained well beyond the lazy regime, and we make the link causal: truncating the Gram matrix at rank $r$ tunes the generalization--memorization transition, and an $L_2$ penalty targeting the second bulk suppresses memorization in feature-learning U-Nets.
• Abstract（参考訳）: 有限データセットでトレーニングされた拡散モデルは、まず新しい高品質のサンプルを生成することを学習し、その後トレーニングセットに崩壊する。 我々は、この時間スケールの分離の背後にあるメカニズムと、それを探索するオブジェクトを識別する。 スコア関数のトレーニングダイナミクスは、実効的に制御され、ノイズの多いトレーニングデータに基づいて評価されたニューラル・タンジェント・カーネル(NTK)のグラム行列によって、任意の幅で、一般化の時間スケールと記憶の記憶をそのスペクトルに符号化する必要がある。 それらの構造が標準のカーネル設定に類似していないことを示す。 スコアマッチング損失におけるサンプルあたりの多重ノイズ実効化(固定ノイズレベルでのノイズコピー)は、グラム行列スペクトルを2つの異なる部分に再構成するものである。 大きい固有値の最初のものは、対象の分布のグローバルな特徴を持ち、既に$m=1$である。 繰り返しノイズが生成する第2の値は、最小の固有値で構成され、サンプル固有のノイズ方向に沿った固有ベクトルでサポートされ、トレーニングセットサイズ$n$でパラメトリックに記憶時間スケールをパラメータ的に設定する。 私たちはこの絵を2つの面に定めます。 解析的に、線形(n \asymp d$) と多項式(n \asymp d^k$) の両方の標本の遅延高次元極限のスペクトルを解き、第1のバルクが近似誤差を最小化し、第2のバルクが記憶に伴う誤差を最小化する偏差分解によって証明する。 経験的に、CelebA上の畳み込みNTKと有限幅U-Netで同じ2バルク構造を示し、リンク因果関係を作る: 階数$r$でグラマー行列をtruncatすることは一般化記憶遷移をチューニングし、第二バルクを対象とする$L_2$ペナルティは特徴学習U-Netの記憶を抑制する。

関連論文リスト

• $\mathbfλ$-VAE: Variance Equalization for Posterior Collapse [0.0]
  変分オートエンコーダ(VAE)は、しばしば後方崩壊に悩まされる。 論理的に独立しているが結合した2つの原因を特定し定式化する。
  論文  参考訳（メタデータ） (2026-07-06T18:07:46Z)
• Anchoring the Eigengap: Cross-Modal Spectral Stabilization for Sample-Efficient Representation Learning [0.8326214193432122]
  視力モデルが低データ状態,特にラベル付きサンプルが不足している医療画像において,急速に低下していることが示される。 我々は、回復可能な次元K(N)を定量化する有限サンプル表現学習の理論を開発する。 マルチモーダルトレーニングは,非モーダルモデルでも,より安定なモードを維持し,クラス分離を改善する。
  論文  参考訳（メタデータ） (2026-05-09T07:49:43Z)
• Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
  楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。 本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。 $|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
  論文  参考訳（メタデータ） (2025-12-22T10:03:51Z)
• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• Denoising Score Matching with Random Features: Insights on Diffusion Models from Precise Learning Curves [8.038035670274706]
  実験的な研究は、一般化と記憶は、モデルの複雑さとトレーニングデータセットのサイズに影響されていることを示唆している。 単純な理論的条件下で,DSM(Denoising Score Matching)の試験・訓練誤差を正確に表現することで,これらの振る舞いを捉える。 我々の理論的発見は経験的観察と一致している。
  論文  参考訳（メタデータ） (2025-02-01T06:43:33Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Imputing Missing Observations with Time Sliced Synthetic Minority Oversampling Technique [0.3973560285628012]
  本稿では,データセット内の各サンプルに対して均一な不規則な時系列を構成することを目的とした,単純かつ斬新な時系列計算手法を提案する。 我々は、観測時間の重複しないビン(「スライス」と呼ばれる)の中間点で定義される格子を固定し、各サンプルが所定の時間にすべての特徴に対して値を持つことを保証する。 これにより、完全に欠落した観察をインプットし、データ全体の時系列の均一な分類を可能にし、特別な場合には個々の欠落した特徴をインプットすることができる。
  論文  参考訳（メタデータ） (2022-01-14T19:23:24Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。