論文の概要: Generalization, memorization, and overfitting for diffusion models trained in the lazy high-dimensional regime
- arxiv url: http://arxiv.org/abs/2608.23938v1
- Date: Tue, 25 Aug 2026 00:54:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.707498
- Title: Generalization, memorization, and overfitting for diffusion models trained in the lazy high-dimensional regime
- Title（参考訳）: 遅延高次元状態下で訓練された拡散モデルの一般化、記憶、過度適合
- Abstract要約: 我々は、ニューラルネットワークの良性オーバーフィットとアルゴリズム正規化の理論に匹敵する生成法を開発した。
勾配流訓練における正確なリスクトラジェクトリを導出する。
これらの推定器が逆時間SDEに沿ってどのように結合するかを分析し、その結果の分布を特徴付ける。
- 参考スコア（独自算出の注目度）: 17.718748692214508
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern score-based generative models have achieved remarkable empirical success in high-dimensional tasks such as image, audio, and video synthesis. These models reduce distribution learning to a sequence of regression problems that, if solved exactly on finite data, would ultimately reproduce the training samples. Their ability to generalize must therefore arise from the implicit or explicit regularization during training. In this work, we develop a generative counterpart to the theory of benign overfitting and algorithmic regularization for overparameterized neural networks in the supervised lazy-training regime. We study denoising score matching in a vector-valued reproducing kernel Hilbert space with an inner-product kernel. In the proportional high-dimensional regime $n\asymp d$, we derive exact risk trajectories under gradient flow training. These trajectories exhibit three phases governed by qualitatively distinct estimators: a spectral estimator that generalizes, a pure-noise score with localized peaks that interpolate the training objective, and an empirical Bayes estimator that memorizes the data. We then analyze how these estimators combine along the reverse-time SDE and characterize the distribution of the resulting samples. The analysis reveals familiar mechanisms from supervised learning, including kernel linearization and self-induced regularization from the nonlinear part of the kernel, but also reveals a distinct phenomenology specific to generative modeling.
- Abstract（参考訳）: 現代のスコアベースの生成モデルは、画像、オーディオ、ビデオ合成といった高次元のタスクにおいて顕著な成功を収めた。
これらのモデルは分布学習を、有限データで正確に解けば最終的にトレーニングサンプルを再現する一連の回帰問題に還元する。
したがって、それらの一般化する能力は、訓練中の暗黙的あるいは明示的な正規化から生じなければならない。
本研究では,教師付き遅延学習システムにおいて,過パラメータ化ニューラルネットワークの良性オーバーフィット理論とアルゴリズム正規化を併用した生成法を開発した。
本研究では,内積カーネルを用いたベクトル値再生カーネルHilbert空間におけるスコアマッチングについて検討する。
比例的な高次元レジーム $n\asymp d$ では、勾配流訓練の下での正確なリスク軌跡を導出する。
これらの軌道は、定性的に異なる推定器によって支配される3つのフェーズを示す: 一般化するスペクトル推定器、訓練目的を補間する局所的なピークを持つ純粋ノイズスコア、データを記憶する経験的ベイズ推定器。
次に、これらの推定器が逆時間SDEに沿ってどのように結合するかを分析し、その結果の分布を特徴付ける。
この分析は、カーネル線形化や、カーネルの非線形部分からの自己誘導正規化を含む教師付き学習から見慣れたメカニズムを明らかにするが、生成的モデリングに特有の独自の現象も明らかにする。
関連論文リスト
- A Theoretical Analysis of Memory and Overfitting Phenomena in Stochastic Interpolation Models [28.505356058958125]
連続時間オラクル設定では、決定論的推定と生成プロセスの両方がトレーニングサンプルを復元することを示す。
離散化の下では、生成されたサンプルはトレーニングサンプルを中心としたままであり、ステップサイズによって偏差が制御される。
論文 参考訳（メタデータ） (2026-06-07T10:14:07Z) - On Interpolation Formulas Describing Neural Network Generalization [8.154667543705687]
連続時間拡散により決定論的バージョンを拡張する勾配カーネルを導入する。
トレーニングサンプルは、損失依存の重み付けと軌道に沿った勾配アライメントを通じて寄与することを明らかにする。
次に、勾配カーネルによって誘導される積分作用素の零空間に一般化誤差をリンクする。
論文 参考訳（メタデータ） (2026-03-14T10:03:29Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - An Analytical Characterization of Sloppiness in Neural Networks: Insights from Linear Models [18.99511760351873]
近年の研究では、複数の深層ニューラルネットワークのトレーニング軌道が、驚くほど低次元の「ハイパーリボン様」多様体上で進化することが示されている。
深層ネットワークと線形ネットワークの訓練軌跡の類似性から着想を得て,この現象を後者に対して解析的に特徴付ける。
この低次元多様体の幾何学は, (i) トレーニングデータの入力相関行列の固有値の減衰率, (ii) トレーニング開始時の接地トラスト出力の相対スケール, (iii) 勾配勾配のステップ数によって制御されることを示す。
論文 参考訳（メタデータ） (2025-05-13T19:20:19Z) - Memorization and Regularization in Generative Diffusion Models [5.128303432235475]
拡散モデルは、生成モデリングの強力なフレームワークとして登場した。
この分析は、解析的に抽出可能な最小化器の再生を避けるための正規化の必要性を強調している。
実験は記憶の文脈で評価され、今後の正規化の方向性が強調される。
論文 参考訳（メタデータ） (2025-01-27T05:17:06Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
リッジ回帰に関する最近の結果について統一的な視点を提示する。
我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。
我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Model, sample, and epoch-wise descents: exact solution of gradient flow
in the random feature model [16.067228939231047]
勾配流下での一般化および訓練誤差の全時間的挙動を解析する。
システムサイズが大きければ、両方のエラーの完全な時間進化経路を解析的に計算できることが示される。
我々の手法は、線形鉛筆に基づく最近のランダム行列法とともに、誤差のコーシー複素積分表現に基づいている。
論文 参考訳（メタデータ） (2021-10-22T14:25:54Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。