論文の概要: The Interplay of Data Structure and Imbalance in the Learning Dynamics of Diffusion Models

• arxiv url: http://arxiv.org/abs/2605.06367v1
• Date: Thu, 07 May 2026 14:44:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.916346
• Title: The Interplay of Data Structure and Imbalance in the Learning Dynamics of Diffusion Models
• Title（参考訳）: 拡散モデルの学習ダイナミクスにおけるデータ構造と不均衡の相互作用
• Authors: Flavio Nicoletti, Chenxiao Ma, Enrico Ventura, Luca Saglietti, Stefano Sarao Mannelli,
• Abstract要約: スコアベース拡散モデルにおけるクラス依存学習について検討する。 これらのダイナミクスを規定する明確な階層を明らかにします。 我々は、Fashion MNISTで訓練されたU-Netモデルを用いて、理論的予測を実証的に検証する。
• 参考スコア（独自算出の注目度）: 8.547042933482645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world datasets are inherently heterogeneous, yet how per-class structural differences and sampling imbalance shape the training dynamics of diffusion models-and potentially exacerbate disparities-remains poorly understood. While models typically transition from an initial phase of generalization to memorizing the training set, existing theory assumes homogeneous data, leaving open how class imbalance and heterogeneity reshape these dynamics. In this work, we develop a high-dimensional analytical framework to study class-dependent learning in score-based diffusion models. Analyzing a random-features model trained on Gaussian mixtures, we derive the feature-covariance spectrum to characterize per-class generalization and memorization times. We reveal the explicit hierarchy governing these dynamics: class variance is the primary determinant of learning order-consistently favoring higher-variance classes-while centroid geometry plays a secondary role. Sampling imbalance acts as a modulator that can reverse this ordering and, under strong imbalance, forces minority classes to acquire distinct, delayed speciation times during backward diffusion. Together, these results suggest that diffusion models can memorize some classes while others remain insufficiently learned. We validate our theoretical predictions empirically using U-Net models trained on Fashion MNIST.
• Abstract（参考訳）: 実世界のデータセットは本質的に異質であるが、クラスごとの構造的差異やサンプリングの不均衡が拡散モデルのトレーニングのダイナミクスを形作っているか、そして潜在的に悪化する相違は理解されていない。 モデルは通常、一般化の最初の段階からトレーニングセットを記憶する段階へ遷移するが、既存の理論は同質なデータを仮定し、クラス不均衡と不均一性がこれらのダイナミクスをいかに再形成するかを議論する。 本研究では,スコアベース拡散モデルを用いたクラス依存学習のための高次元解析フレームワークを開発する。 ガウス混合に基づいて訓練されたランダムな特徴モデルを分析し、特徴共分散スペクトルを導出し、クラスごとの一般化と記憶時間の特徴付けを行う。 クラス分散は、高分散クラスに忠実に有利な学習順序の決定因子であり、セントロイド幾何学は二次的な役割を担っている。 サンプリングの不均衡は、この順序を逆転させ得る変調器として働き、強い不均衡の下では、少数派階級は後方拡散の過程で異なる遅延した偏差時間を取得するように強制する。 これらの結果は、拡散モデルがいくつかのクラスを記憶できる一方で、他のクラスは十分に学習されていないことを示唆している。 我々は、Fashion MNISTで訓練されたU-Netモデルを用いて、理論的予測を実証的に検証する。

関連論文リスト

• Diffusion Model for Manifold Data: Score Decomposition, Curvature, and Statistical Complexity [93.52679474816728]
  拡散モデルは、生成モデリングにおける主要なフレームワークとなっている。 本稿では,拡散モデルが構造データをどのように学習するかを,統計的複雑性とデータ幾何学的性質の影響の2つの重要な側面に焦点をあてる。 また、スコア関数の構造と多様体曲率の相互作用も強調する。
  論文  参考訳（メタデータ） (2026-03-21T04:40:19Z)
• How Out-of-Equilibrium Phase Transitions can Seed Pattern Formation in Trained Diffusion Models [12.52425103385255]
  逆拡散は、小さな空間変動が増幅され、大規模構造が出現する臨界状態を通過すると論じる。 解析的に抽出可能なパッチスコアモデルを用いて、古典対称性を破る分岐が空間的に拡張された臨界現象にどのように一般化するかを示す。
  論文  参考訳（メタデータ） (2026-03-20T16:19:10Z)
• Theory of Speciation Transitions in Diffusion Models with General Class Structure [5.939780039158003]
  拡散モデルは拡散過程を反転させ、ノイズをターゲット分布から引き出された構造化サンプルに変換することによってデータを生成する。 最近の理論的研究により、この後方ダイナミクスは、偏光遷移として知られる鋭い定性的遷移を経ることができることが示されている。 拡散モデルにおける偏差の一般理論を開発し、適切に定義されたクラスを持つ任意の対象分布に適用する。
  論文  参考訳（メタデータ） (2026-02-04T10:35:47Z)
• Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
  量子離散化拡散確率モデル(QD3PM)を提案する。 これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。 本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
  論文  参考訳（メタデータ） (2025-05-08T11:48:21Z)
• On the Feature Learning in Diffusion Models [26.53807235141923]
  本稿では,拡散モデルの学習力学を従来の分類モデルと比較し,分析・比較することを目的とした特徴学習フレームワークを提案する。 我々の理論的分析は、拡散モデルがデノナイジング目的のために、データのよりバランスよく包括的な表現を学習することを奨励していることを示している。 対照的に、分類のためにトレーニングされた類似アーキテクチャを持つニューラルネットワークは、データ内の特定のパターンを学ぶことを優先する傾向があり、多くの場合、簡単に学習できるコンポーネントに焦点を当てる。
  論文  参考訳（メタデータ） (2024-12-02T00:41:25Z)
• Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training [7.5041863920639456]
  機械学習システムは、データの望ましくない特徴を活用してバイアスを取得し、異なるサブポピュレーションの精度に影響を与えることが多い。 本稿では, ガウス混合モデルを用いて, 教師学生によるデータサブポピュレーションのモデル化におけるバイアスの進化について検討する。 この発見を公平性と堅牢性に適用することで、不均一なデータと突発的な特徴がバイアスを発生し増幅する方法について、いつ、どのように、どのように、どのようにして、そして、どのようにして、そのバイアスを増大させるかを説明します。
  論文  参考訳（メタデータ） (2024-05-28T15:50:10Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。