論文の概要: Memorization and Malign Generalization in Conditional Diffusion Models with Random Features

• arxiv url: http://arxiv.org/abs/2610.11288v1
• Date: Thu, 08 Oct 2026 05:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.8201
• Title: Memorization and Malign Generalization in Conditional Diffusion Models with Random Features
• Title（参考訳）: ランダムな特徴を持つ条件付き拡散モデルにおける記憶と悪性一般化
• Abstract要約: 条件拡散モデルは、所定の条件下で多種多様で斬新で高品質なサンプルを生成する。 高次元比例極限におけるランダムな条件付きスコアモデルの解析を行い、トレーニングとテスト損失の表現を導出する。
• 参考スコア（独自算出の注目度）: 7.519872646378835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional diffusion models generate diverse, novel, and high-quality samples under prescribed conditions. However, theoretical understanding of their memorization and generalization remains limited, while recent works have characterized these behaviors primarily in unconditional settings. In this work, we analyze a random-feature conditional score model in the high-dimensional proportional limit, deriving asymptotic expressions for training and test losses. By decomposing the test loss, we show that in the overparameterized regime, increasing model width improves prediction of the condition-dependent mean while reducing within-condition prediction variance, a phenomenon we term "malign generalization." Furthermore, analyzing the training loss reveals that more informative conditions lead to memorization of training samples at smaller widths. These theoretical findings are supported by experiments with U-Net architectures on realistic data.
• Abstract（参考訳）: 条件拡散モデルは、所定の条件下で多種多様で斬新で高品質なサンプルを生成する。 しかしながら、それらの記憶と一般化に関する理論的理解は限定的であり、最近の研究はこれらの振る舞いを主に無条件の設定で特徴づけている。 本研究では,高次元比例極限における無作為条件スコアモデルを解析し,トレーニングとテスト損失に対する漸近表現を導出する。 実験損失を分解することにより,モデル幅の増大が条件依存性平均の予測を改善するとともに,条件内予測分散を低減させる現象を「悪性一般化」と呼ぶ。 さらに, トレーニング損失を解析した結果, より情報的な条件が, より狭い範囲でのトレーニングサンプルの記憶に繋がることが明らかとなった。 これらの理論的な発見は、現実的なデータに関するU-Netアーキテクチャの実験によって裏付けられている。

関連論文リスト

• Condition Errors Refinement in Autoregressive Image Generation with Diffusion Loss [56.120591983649824]
  本稿では拡散損失を伴う拡散・自己回帰モデルの理論解析について述べる。 自動回帰モデルにおけるパッチデノゲーション最適化は、条件誤差を効果的に軽減し、安定した条件分布をもたらすことを示す。 「条件不整合に対処するための最適輸送(OT)理論に基づく新しい条件改善手法を導入する。」
  論文  参考訳（メタデータ） (2026-02-02T07:48:04Z)
• Divergence-Free Diffusion Models for Incompressible Fluid Flows [0.0]
  生成拡散モデルは、教師なしおよび自己教師付き機械学習で広く利用されている。 本研究では,非圧縮性流体の数値シミュレーションへの応用について検討する。
  論文  参考訳（メタデータ） (2026-01-27T08:49:26Z)
• Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models [56.032091696552094]
  自然データ領域の一般化は、記憶の開始前に訓練中に徐々に達成される。 一般化対メモ化は、時間スケール間の競合として最もよく理解される。 この現象学は,確率論的文脈自由文法をランダムな規則で学習する拡散モデルにおいて復元されることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:40:08Z)
• Memorization and Regularization in Generative Diffusion Models [5.128303432235475]
  拡散モデルは、生成モデリングの強力なフレームワークとして登場した。 この分析は、解析的に抽出可能な最小化器の再生を避けるための正規化の必要性を強調している。 実験は記憶の文脈で評価され、今後の正規化の方向性が強調される。
  論文  参考訳（メタデータ） (2025-01-27T05:17:06Z)
• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• Physics-Informed Diffusion Models [0.0]
  生成モデルと偏微分方程式の充足を統一する枠組みを提案する。 本手法は,流体流動ケーススタディにおける従来の研究と比較して,残差を最大2桁まで低減する。
  論文  参考訳（メタデータ） (2024-03-21T13:52:55Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors [64.24948495708337]
  本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。 我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-12-14T17:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。