論文の概要: An exact information theory of generalization phase transitions in Bayesian diffusion models

• arxiv url: http://arxiv.org/abs/2607.08041v1
• Date: Thu, 09 Jul 2026 01:33:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.388449
• Title: An exact information theory of generalization phase transitions in Bayesian diffusion models
• Title（参考訳）: ベイズ拡散モデルにおける一般化相転移の正確な情報理論
• Authors: Henry Hunt, Mason Kamb, Surya Ganguli,
• Abstract要約: 拡散モデルが次元の呪いを回避し、それを記憶する代わりに、有限のトレーニングセットから高次元空間を学習する方法を示す。 BIRDモデルの時間-逆拡散は、過去のトレーニングサンプルが現在の制限された観測結果を生成するかを推定することによって行われる。 空間的局所的BIRDモデルと早期学習拡散モデルの両方が記憶・一般化位相境界を追跡する。
• 参考スコア（独自算出の注目度）: 11.82439668395711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How diffusion models circumvent the curse of dimensionality to learn complex distributions over high dimensional spaces from a finite training set, instead of memorizing it, remains a fundamental mystery. To address this, we introduce analytically tractable Bayesian information restricted diffusion (BIRD) models, in which each pixel observes restricted information about noisy data. A BIRD model time-reverses diffusion by inferring which past training sample produced its current restricted observation using the Bayesian posterior. This model class generalizes existing analytical diffusion models that use spatially local information restriction. We show that spatially local BIRD models closely approximate trained diffusion models \textit{early in training}, across different architectures such as UNets and DiTs. Under minimal assumptions on the data distribution, we identify an information-theoretic phase boundary between memorization and generalization in the joint space of amount of training data, time in the reverse generative process, and amount of information restriction: a BIRD model memorizes when the mutual information between its restricted noisy observations and the training data exceeds the log number of training points, and it generalizes otherwise. Experiments across a range of datasets confirm our theoretically predicted location for the transition. We find that generation proceeds near the edge of memorization: both spatially local BIRD models and early-training diffusion models track the memorization-generalization phase boundary by increasingly restricting information over time. Overall, our results reveal a fundamental role for information restriction in generative AI to circumvent the curse of dimensionality.
• Abstract（参考訳）: 拡散モデルは、それを記憶するのではなく、高次元空間上の複素分布を学ぶための次元の呪いをいかに回避するかは、根本的な謎のままである。 これを解決するために,各画素がノイズデータに関する制限情報を観測するBIRDモデルを提案する。 過去のトレーニングサンプルがベイズ後部を用いた現在の制限観測を作成したかを推定することで,BIRDモデルの時間逆拡散を推定する。 このモデルクラスは、空間的局所情報制限を用いた既存の解析拡散モデルを一般化する。 空間的に局所的なBIRDモデルは、UNetsやDiTsといった異なるアーキテクチャで訓練された拡散モデルであるtextit{early in training} に密接に近似していることを示す。 BIRDモデルは、データ分布に関する最小の仮定の下で、トレーニングデータの量、逆生成過程における時間、および情報制限の結合空間における記憶と一般化の間の情報理論的位相境界を同定する: BIRDモデルは、その制限されたノイズ観測とトレーニングデータの相互情報がトレーニングポイントのログ数を超えたときに記憶し、それ以外を一般化する。 さまざまなデータセットにわたる実験により、我々の理論的に予測された移行の場所が確認できる。 空間的局所的BIRDモデルと早期学習拡散モデルの両方が、時間とともに情報を制限することにより、記憶・一般化位相境界を追跡する。 総じて, 生成AIにおける情報制限は, 次元の呪いを回避するための基本的な役割を担っている。

関連論文リスト

• Local Coverage Governs Memorization in Diffusion Models [10.085837353469737]
  メモリ化は、ローカルなデータカバレッジによって管理されていることを示す。 クラス内疎度が高いクラス(およびそれによる局所被覆率の低下)は,より強く記憶されている。
  論文  参考訳（メタデータ） (2026-06-12T12:25:13Z)
• The Principles of Diffusion Models [81.12042238390075]
  拡散モデリングは、データを徐々にノイズに分解するフォワードプロセスを定義することから始まる。 目標は、ノイズをデータに変換しながら、同じ中間体を回復するリバースプロセスを学ぶことだ。 エネルギーベースモデリングに根ざしたスコアベースビューは、進化するデータ分布の勾配を学習する。 フローベースのビューは、フローの正規化に関連するもので、サンプルをノイズからデータに移すスムーズなパスに従って生成する。
  論文  参考訳（メタデータ） (2025-10-24T02:29:02Z)
• DS-Diffusion: Data Style-Guided Diffusion Model for Time-Series Generation [3.7098771725459336]
  時系列生成タスクのためのデータスタイル誘導拡散モデル(DS-Diffusion)を提案する。 DS-Diffusionは、条件付きガイダンスを導入するためにフレームワーク全体をトレーニングするのを避ける。 生成されたサンプルは、それらが発するデータスタイルを明確に示すことができる。
  論文  参考訳（メタデータ） (2025-09-23T03:06:39Z)
• Memorization to Generalization: Emergence of Diffusion Models from Associative Memory [27.677278702224687]
  AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。 本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
  論文  参考訳（メタデータ） (2025-05-27T21:20:57Z)
• Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models [56.032091696552094]
  自然データ領域の一般化は、記憶の開始前に訓練中に徐々に達成される。 一般化対メモ化は、時間スケール間の競合として最もよく理解される。 この現象学は,確率論的文脈自由文法をランダムな規則で学習する拡散モデルにおいて復元されることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:40:08Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。