論文の概要: On the Memorization of Consistency Distillation for Diffusion Models

• arxiv url: http://arxiv.org/abs/2604.23552v1
• Date: Sun, 26 Apr 2026 06:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.428105
• Title: On the Memorization of Consistency Distillation for Diffusion Models
• Title（参考訳）: 拡散モデルにおける共存蒸留の記憶について
• Authors: Bingqing Jiang, Difan Zou,
• Abstract要約: 拡散モデルにおいて, 連続蒸留が記憶挙動にどう影響するかを解析した。 本研究は, 連続蒸留により, 学生の記憶が著しく低下し, サンプル品質が向上することを示した。 以上の結果から, 蒸留は加速ツールとしてだけでなく, 記憶一般化トレードオフを改善するメカニズムとしても有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 31.08329979854717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models are central to modern generative modeling, and understanding how they balance memorization and generalization is critical for reliable deployment. Recent work has shown that memorization in diffusion models is shaped by training dynamics, with generalization and memorization emerging at different stages of training. However, deployed diffusion models are often further distilled, introducing an additional training phase whose impact on memorization is not well understood. In this work, we analyze how distillation reshapes memorization behavior in diffusion models, taking consistency distillation as a representative framework. Empirically, we show that when applied to a teacher model that has memorized data, consistency distillation significantly reduces transferred memorization in the student while preserving, and sometimes improving, sample quality. To explain this behavior, we provide a theoretical analysis using a random feature neural network model [Bonnaire et al., 2025], showing that consistency distillation suppresses unstable feature directions associated with memorization while preserving stable, generalizable modes. Our findings suggest that distillation can serve not only as an acceleration tool, but also as a mechanism for improving the memorization-generalization trade-off.
• Abstract（参考訳）: 拡散モデルは近代的な生成モデルの中心であり、それらが記憶と一般化のバランスをとる方法を理解することは、信頼性の高い展開に不可欠である。 近年の研究では、拡散モデルにおける記憶は、トレーニングの異なる段階で一般化と記憶が出現する、訓練力学によって形成されることが示されている。 しかし、展開拡散モデルはさらに蒸留され、記憶への影響を十分に理解していない追加のトレーニングフェーズが導入された。 本研究では, 拡散モデルにおいて, 蒸留が記憶挙動にどう影響するかを解析し, 連続蒸留を代表的枠組みとして捉えた。 実験により, 記憶データを有する教師モデルに適用した場合, 整合性蒸留は学生の記憶の伝達を著しく減少させ, 時には改善し, サンプルの品質を向上させることを示した。 この振る舞いを説明するために, ランダム特徴ニューラルネットワークモデル[Bonnaire et al , 2025]を用いて理論的解析を行い, 安定な一般化可能なモードを保ちながら, 記憶に伴う不安定な特徴方向を抑制することを示す。 以上の結果から, 蒸留は加速ツールとしてだけでなく, 記憶一般化トレードオフを改善するメカニズムとしても有効であることが示唆された。

関連論文リスト

• How Diffusion Models Memorize [26.711679643772623]
  拡散モデルはトレーニングデータを記憶し 深刻なプライバシーと著作権の懸念を 引き起こすことができます 初診時のトレーニングサンプルの過大評価により,暗記が促進されることが示唆された。
  論文  参考訳（メタデータ） (2025-09-30T03:03:27Z)
• On the Edge of Memorization in Diffusion Models [25.927892368310868]
  本稿では,実践的拡散モデルにおける記憶と一般化を研究するための科学的・数学的「実験室」を紹介する。 我々の研究は、将来の理論的および実証的な調査のために分析的に抽出可能で実用的に意味のある設定を提供する。
  論文  参考訳（メタデータ） (2025-08-25T05:56:05Z)
• Memorization to Generalization: Emergence of Diffusion Models from Associative Memory [27.677278702224687]
  AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。 本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
  論文  参考訳（メタデータ） (2025-05-27T21:20:57Z)
• Redistribute Ensemble Training for Mitigating Memorization in Diffusion Models [31.92526915009259]
  拡散モデルは非常に高品質なサンプルを生成する能力で知られている。 最近のメモリ緩和法は、主にテキストモダリティの文脈における問題に対処している。 本稿では,視覚的モダリティの観点からの拡散モデルの新たな手法を提案する。
  論文  参考訳（メタデータ） (2025-02-13T15:56:44Z)
• DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
  拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。 プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。 DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
  論文  参考訳（メタデータ） (2024-10-15T18:21:47Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。