論文の概要: A Random Matrix Theory Perspective on the Consistency of Diffusion Models

• arxiv url: http://arxiv.org/abs/2602.02908v1
• Date: Mon, 02 Feb 2026 23:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.135238
• Title: A Random Matrix Theory Perspective on the Consistency of Diffusion Models
• Title（参考訳）: 拡散モデルの整合性に関するランダム行列論の視点
• Authors: Binxu Wang, Jacob Zavatone-Veth, Cengiz Pehlevan,
• Abstract要約: データセットの異なるサブセットでトレーニングされた拡散モデルは、しばしば同じノイズシードを与えられたときに、著しく類似した出力を生成する。 我々は,学習したデノイザとサンプリングマップの期待値と分散値の有限形状を定量化するランダム行列理論(RMT)フレームワークを開発した。 我々は,UNet および DiT アーキテクチャの非記憶系における予測を検証した。
• 参考スコア（独自算出の注目度）: 31.63433424187031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models trained on different, non-overlapping subsets of a dataset often produce strikingly similar outputs when given the same noise seed. We trace this consistency to a simple linear effect: the shared Gaussian statistics across splits already predict much of the generated images. To formalize this, we develop a random matrix theory (RMT) framework that quantifies how finite datasets shape the expectation and variance of the learned denoiser and sampling map in the linear setting. For expectations, sampling variability acts as a renormalization of the noise level through a self-consistent relation $σ^2 \mapsto κ(σ^2)$, explaining why limited data overshrink low-variance directions and pull samples toward the dataset mean. For fluctuations, our variance formulas reveal three key factors behind cross-split disagreement: \textit{anisotropy} across eigenmodes, \textit{inhomogeneity} across inputs, and overall scaling with dataset size. Extending deterministic-equivalence tools to fractional matrix powers further allows us to analyze entire sampling trajectories. The theory sharply predicts the behavior of linear diffusion models, and we validate its predictions on UNet and DiT architectures in their non-memorization regime, identifying where and how samples deviates across training data split. This provides a principled baseline for reproducibility in diffusion training, linking spectral properties of data to the stability of generative outputs.
• Abstract（参考訳）: データセットの異なる重複しないサブセットでトレーニングされた拡散モデルは、しばしば同じノイズシードを与えられたときに驚くほど類似した出力を生成する。 分割間の共有ガウス統計は、既に生成された画像の多くを予測している。 これを形式化するために、有限データセットが学習したデノイザとサンプリングマップの期待と分散を線形設定でどのように形成するかを定量化するランダム行列理論(RMT)フレームワークを開発する。 予測のために、サンプリング変数は、自己整合関係$σ^2 \mapsto κ(σ^2)$を通じてノイズレベルの再正規化として機能し、なぜ制限されたデータが低分散方向を超過し、サンプルをデータセット平均に向かって引くのかを説明する。 揺らぎについて、我々の分散式は、固有モデム間での \textit{anisotropy} 、入力間での \textit{inhomogeneity} 、データセットサイズによる全体的なスケーリングの3つの主要な要因を明らかにする。 決定論的等価ツールを分数行列パワーに拡張することで、サンプリング軌跡全体を分析することができる。 この理論は線形拡散モデルの挙動を強く予測し,その非記憶系におけるUNetおよびDiTアーキテクチャの予測を検証する。 これにより、拡散訓練における再現性に関する原則化されたベースラインが提供され、データのスペクトル特性と生成出力の安定性をリンクする。

関連論文リスト

• An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
  生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。 異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-01-20T05:06:26Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Generalization Dynamics of Linear Diffusion Models [8.107431208836426]
  線形デノイザを用いた簡単なモデルを用いて,記憶から一般化への遷移を解析的に検討する。 我々の研究は、拡散ベース生成モデルの単純なモデルにおいて、サンプルの複雑さが一般化をどのように支配するかを明らかにする。
  論文  参考訳（メタデータ） (2025-05-30T16:31:58Z)
• An Analytical Theory of Spectral Bias in the Learning Dynamics of Diffusion Models [29.972063833424215]
  本研究では,拡散モデル学習中に生成した分布がどのように進化するかを理解するための解析的枠組みを開発する。 結果の確率フローODEを統合し、生成した分布の解析式を生成する。
  論文  参考訳（メタデータ） (2025-03-05T05:50:38Z)
• Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
  非ガウス共変量の設定における線形回帰の計算について検討する。 本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2024-12-04T20:31:47Z)
• A solvable generative model with a linear, one-step denoiser [0.0]
  本研究では,線形デノイザに基づく解析的抽出可能な単一ステップ拡散モデルを開発し,Kulback-Leibler分散の明示的な公式を示す。 大規模実用拡散モデルでは、拡散段数の増加が生産品質を高める理由を説明する。
  論文  参考訳（メタデータ） (2024-11-26T19:00:01Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。