論文の概要: A theory of learning data statistics in diffusion models, from easy to hard

• arxiv url: http://arxiv.org/abs/2603.12901v1
• Date: Fri, 13 Mar 2026 11:07:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:12.059253
• Title: A theory of learning data statistics in diffusion models, from easy to hard
• Title（参考訳）: 拡散モデルにおける学習データ統計学の理論
• Authors: Lorenzo Bardone, Claudia Merger, Sebastian Goldt,
• Abstract要約: 自然画像上で訓練された拡散モデルは、高次相関に特化する前に、単純でペアワイズな入力統計を学習し、分布の単純さのバイアスを示すことを示す。 我々は、この振る舞いを、最小限のデータモデル、混合累積モデルで訓練された単純なデノイザで再現する。 我々の研究は拡散モデルが複雑性の増大する分布を学習する方法の鍵となるメカニズムを記述している。
• 参考スコア（独自算出の注目度）: 11.841482748098327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While diffusion models have emerged as a powerful class of generative models, their learning dynamics remain poorly understood. We address this issue first by empirically showing that standard diffusion models trained on natural images exhibit a distributional simplicity bias, learning simple, pair-wise input statistics before specializing to higher-order correlations. We reproduce this behaviour in simple denoisers trained on a minimal data model, the mixed cumulant model, where we precisely control both pair-wise and higher-order correlations of the inputs. We identify a scalar invariant of the model that governs the sample complexity of learning pair-wise and higher-order correlations that we call the diffusion information exponent, in analogy to related invariants in different learning paradigms. Using this invariant, we prove that the denoiser learns simple, pair-wise statistics of the inputs at linear sample complexity, while more complex higher-order statistics, such as the fourth cumulant, require at least cubic sample complexity. We also prove that the sample complexity of learning the fourth cumulant is linear if pair-wise and higher-order statistics share a correlated latent structure. Our work describes a key mechanism for how diffusion models can learn distributions of increasing complexity.
• Abstract（参考訳）: 拡散モデルは生成モデルの強力なクラスとして現れてきたが、それらの学習力学はいまだに理解されていない。 まず、自然画像上で訓練された標準拡散モデルが分布の単純さのバイアスを示すことを実証的に示し、高次相関に特化する前に、単純でペアワイズな入力統計学を学習する。 我々は、この振る舞いを、最小限のデータモデル、混合累積モデルで訓練された単純な復調器で再現し、入力のペアワイドと高階相関の両方を正確に制御する。 拡散情報指数と呼ばれる2段階および2段階の相関関係を,異なる学習パラダイムにおける関連する不変量に類似させて,サンプルの複雑さを規定するモデルのスカラー不変量を同定する。 この不変量を用いて、デノイザは線形サンプルの複雑さで入力の単純でペアワイズな統計を学習する一方、第4累積法のようなより複雑な高次統計は少なくとも3次サンプルの複雑さを必要とすることを証明している。 また、4番目の累積を学習する際のサンプルの複雑さが、ペアと高階の統計値が相関した潜在構造を共有する場合、線形であることが証明された。 我々の研究は拡散モデルが複雑性の増大する分布を学習する方法の鍵となるメカニズムを記述している。

関連論文リスト

• Generalization Dynamics of Linear Diffusion Models [8.107431208836426]
  線形デノイザを用いた簡単なモデルを用いて,記憶から一般化への遷移を解析的に検討する。 我々の研究は、拡散ベース生成モデルの単純なモデルにおいて、サンプルの複雑さが一般化をどのように支配するかを明らかにする。
  論文  参考訳（メタデータ） (2025-05-30T16:31:58Z)
• Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
  量子離散化拡散確率モデル(QD3PM)を提案する。 これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。 本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
  論文  参考訳（メタデータ） (2025-05-08T11:48:21Z)
• Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
  学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。 拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
  論文  参考訳（メタデータ） (2024-10-31T15:57:04Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Ablation Based Counterfactuals [7.481286710933861]
  ABC (Ablation Based Counterfactuals) は、モデル再訓練ではなくモデルアブレーションに依存する反ファクト解析を行う手法である。 拡散モデルの集合を用いてこのようなモデルを構築する方法を示す。 次に、このモデルを用いて、完全な対物的景観を列挙することで、トレーニングデータ属性の限界を研究する。
  論文  参考訳（メタデータ） (2024-06-12T06:22:51Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。