論文の概要: Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold

• arxiv url: http://arxiv.org/abs/2602.06021v1
• Date: Thu, 05 Feb 2026 18:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.143284
• Title: Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold
• Title（参考訳）: データ依存リッジ多様体への誘導バイアスによる拡散モデルの一般化
• Authors: Ye He, Yitong Qiu, Molei Tao,
• Abstract要約: 対数密度リッジ多様体を提案することにより、拡散モデルが生成するものを明示的に特徴づける。 生成したデータは、推論ダイナミクスが進むにつれて、この多様体にどのように関係するかを示す。 トレーニングダイナミクスのより詳細な理解は、生成帰納バイアスのより正確な定量化につながる。
• 参考スコア（独自算出の注目度）: 19.059115911590776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a diffusion model is not memorizing the training data set, how does it generalize exactly? A quantitative understanding of the distribution it generates would be beneficial to, for example, an assessment of the model's performance for downstream applications. We thus explicitly characterize what diffusion model generates, by proposing a log-density ridge manifold and quantifying how the generated data relate to this manifold as inference dynamics progresses. More precisely, inference undergoes a reach-align-slide process centered around the ridge manifold: trajectories first reach a neighborhood of the manifold, then align as being pushed toward or away from the manifold in normal directions, and finally slide along the manifold in tangent directions. Within the scope of this general behavior, different training errors will lead to different normal and tangent motions, which can be quantified, and these detailed motions characterize when inter-mode generations emerge. More detailed understanding of training dynamics will lead to more accurate quantification of the generation inductive bias, and an example of random feature model will be considered, for which we can explicitly illustrate how diffusion model's inductive biases originate as a composition of architectural bias and training accuracy, and how they evolve with the inference dynamics. Experiments on synthetic multimodal distributions and MNIST latent diffusion support the predicted directional effects, in both low- and high-dimensions.
• Abstract（参考訳）: 拡散モデルがトレーニングデータセットを記憶していない場合、どのように正確に一般化するか? 生成された分布を定量的に理解することは、例えば、下流アプリケーションに対するモデルの性能を評価するのに有益である。 このようにして、対数密度のリッジ多様体を提案し、推論力学が進むにつれて生成されたデータがこの多様体とどのように関係するかを定量化することにより、拡散モデルが生成するものを明示的に特徴づける。 より正確には、推論は尾根多様体を中心としたリーチ・アライン・スライディング過程(英語版)を実行する: 軌道はまず多様体の近傍に到達し、次に通常の方向で多様体の方向や方向に向かって押されるように整列し、最後に接方向に多様体に沿ってスライドする。 この一般的な行動の範囲内では、異なるトレーニングエラーが正常な動きと接した動きにつながり、それが定量化され、これらの詳細な動きは、モード間世代が出現するときに特徴づけられる。 トレーニングダイナミクスのより詳細な理解は、生成帰納的バイアスのより正確な定量化につながり、ランダムな特徴モデルの例として、拡散モデルの帰納的バイアスがどのようにアーキテクチャバイアスとトレーニング精度の合成から生じるのか、そしてそれらが推論力学でどのように進化するかを明確に説明することができる。 合成多モード分布とMNIST潜伏拡散の実験は、低次元および高次元の両方において予測される方向効果を支持する。

関連論文リスト

• The Principles of Diffusion Models [81.12042238390075]
  拡散モデリングは、データを徐々にノイズに分解するフォワードプロセスを定義することから始まる。 目標は、ノイズをデータに変換しながら、同じ中間体を回復するリバースプロセスを学ぶことだ。 エネルギーベースモデリングに根ざしたスコアベースビューは、進化するデータ分布の勾配を学習する。 フローベースのビューは、フローの正規化に関連するもので、サンプルをノイズからデータに移すスムーズなパスに従って生成する。
  論文  参考訳（メタデータ） (2025-10-24T02:29:02Z)
• Continuous Diffusion Model for Language Modeling [64.7425225935854]
  離散的データに対する既存の連続拡散モデルは離散的手法と比較して性能が劣る。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。 本手法は,既存の離散拡散モデルより優れ,自己回帰モデルの性能にアプローチする。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
  学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。 拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
  論文  参考訳（メタデータ） (2024-10-31T15:57:04Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
  一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
  論文  参考訳（メタデータ） (2023-10-11T06:04:40Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。