論文の概要: Memorisation, convergence and generalisation in generative models

• arxiv url: http://arxiv.org/abs/2605.21402v1
• Date: Wed, 20 May 2026 17:00:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.796647
• Title: Memorisation, convergence and generalisation in generative models
• Title（参考訳）: 生成モデルにおける記憶、収束、一般化
• Authors: Antoine Maillard, Sebastian Goldt,
• Abstract要約: 生成モデルの一般化は、少なくとも2つの異なる目的に分解されることを示す。 これらの目的は、真と学習したデータ分布の間の2つの異なる距離に対応する。
• 参考スコア（独自算出の注目度）: 13.652405522895128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative neural networks learn how to produce highly realistic images from a large, but finite number of examples - or do they simply memorise their training set? To settle this question, Kadkhodaie, Guth, Simoncelli and Mallat (ICLR '24) trained diffusion models independently on disjoint subsets of a dataset and showed that they converge to nearly the same density when the number of training images is large enough. This result raises two basic questions: how much data do you need for convergence, and what does convergence capture about learning the data distribution? Here, we address these questions by providing an exact analytical characterisation of the transition from memorisation to generalisation in linear generative models. We find that these models memorise at small load, while convergence emerges continuously when the number of samples is linear in the input dimension. Strikingly, we find that convergence is insensitive to recovery of the principal latent factors of the data, which are recovered in a sharp transition. After extending our approach to data with power-law spectra, we find the same distinction between convergence and latent recovery in our experiments with convolutional denoisers and in the data of Kadkhodaie et al. We thus show that generalisation in generative models decomposes into at least two distinct objectives: matching the bulk of the data distribution and recovering the principal latent factors. These objectives correspond to two different distances between true and learnt data distribution, and only the first one is captured by convergence.
• Abstract（参考訳）: 生成ニューラルネットワークは、大規模なが有限個の例から非常にリアルなイメージを生成する方法を学ぶ。 この問題を解決するために、Kadkhodaie, Guth, Simoncelli and Mallat (ICLR '24) はデータセットの非結合部分集合上で独立に拡散モデルを訓練し、トレーニング画像の数が十分に大きいときにほぼ同じ密度に収束することを示した。 この結果、コンバージェンスに必要なデータ量と、データ分散の学習においてコンバージェンスにどのような意味があるのか、という2つの基本的な疑問が浮かび上がっています。 ここでは,線形生成モデルにおける記憶から一般化への遷移の正確な解析的特徴付けを提供することにより,これらの問題に対処する。 これらのモデルは小さな負荷で記憶されるが、サンプルの数が入力次元に線形である場合には収束が連続的に現れる。 厳密には、収束はデータの主潜伏因子の回復に不感であり、急激な遷移で回復される。 提案手法をパワーロースペクトルで拡張した結果,畳み込みデノイザを用いた実験とKadkhodaie et alのデータでは収束と潜伏回復の区別が同じであり,生成モデルの一般化は,データ分布の大部分を一致させて主潜伏因子を復元する,少なくとも2つの目的に分解されることが判明した。 これらの目的は、真と学習したデータ分布の間の2つの異なる距離に対応しており、最初の1つだけが収束によって捕捉される。

関連論文リスト

• Impugan: Learning Conditional Generative Models for Robust Data Imputation [0.21847754147782886]
  Impuganは、欠落した値を計算し、異種データセットを統合するための条件付きジェネレーティブ・アドバイサル・ネットワーク(cGAN)である。 推論中、ジェネレータは、利用可能な特徴から欠落したエントリを再構成し、識別器は、インプットされたデータと真を区別してリアリズムを強制する。
  論文  参考訳（メタデータ） (2025-12-05T18:46:33Z)
• Data-Dependent Smoothing for Protein Discovery with Walk-Jump Sampling [7.278972126771497]
  拡散モデルは、ノイズ発生過程を反復的に逆転することを学ぶことによって、生成モデルの強力なクラスとして現れてきた。 高品質なサンプルを生成する能力は、高次元画像データを超えてタンパク質のような他の複雑なドメインにまで拡張されている。 本稿では,カーネル密度推定(KDE)を前処理ステップとして利用して,各データポイントに対するノイズスケール$sigma$を推定する,データ依存スムーシングウォーク・ジャンプフレームワークを提案する。 局所的なデータ幾何をデノナイズプロセスに組み込むことで,タンパク質データの均一分布を考慮に入れた。
  論文  参考訳（メタデータ） (2025-09-02T08:17:59Z)
• Resolving Memorization in Empirical Diffusion Model for Manifold Data in High-Dimensional Spaces [5.716752583983991]
  データ分布がn個の点からなる場合、経験的拡散モデルは既存のデータ点を再現する傾向がある。 本研究は,経験的拡散シミュレーションの最後に慣性更新を適用することで,記憶の問題を解くことができることを示す。 このモデルから得られたサンプルの分布は、次元$d$の$C2$多様体上の真のデータ分布を、位数$O(n-frac2d+4)$のWasserstein-1距離内で近似することを示した。
  論文  参考訳（メタデータ） (2025-05-05T09:40:41Z)
• Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts [1.9458156037869137]
  収束学習は、神経システムが同様の内部表現に到達する度合いである。 数十の視覚モデルと数千の層対比較にまたがる収束学習の大規模監査を行う。 発見は、表現の収束に対する理解において重要なギャップを埋め、神経科学とAIに影響を及ぼす。
  論文  参考訳（メタデータ） (2025-02-26T00:04:24Z)
• A solvable generative model with a linear, one-step denoiser [0.0]
  本研究では,線形デノイザに基づく解析的抽出可能な単一ステップ拡散モデルを開発し,Kulback-Leibler分散の明示的な公式を示す。 大規模実用拡散モデルでは、拡散段数の増加が生産品質を高める理由を説明する。
  論文  参考訳（メタデータ） (2024-11-26T19:00:01Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。