論文の概要: Reducing Diffusion Model Memorization with Higher Order Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2605.19170v2
• Date: Sat, 23 May 2026 19:16:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 16:32:37.743824
• Title: Reducing Diffusion Model Memorization with Higher Order Langevin Dynamics
• Title（参考訳）: 高次ランゲヴィンダイナミクスによる拡散モデル記憶の低減
• Authors: Benjamin Sterling, Mónica F. Bugallo, Tom Tirer,
• Abstract要約: 拡散/スコアベースのモデルは、トレーニングデータ分布を模倣する高品質なサンプルを生成することができる。 著作権とプライバシを潜在的に侵害する「記憶化」として知られるトレーニングサンプルを再現する傾向が指摘されている。 この現象に対する高次ランゲヴィンダイナミクス(HOLD)の効果について検討した。
• 参考スコア（独自算出の注目度）: 22.777011957535255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion/score-based models have emerged as powerful generative models, capable of generating high-quality samples that mimic the training data distribution. However, it has been observed that they are prone to reproducing training samples-known as "memorization"-potentially violating copyright and privacy. In this paper, we study the effect of Higher-Order Langevin Dynamics (HOLD) on this phenomenon. HOLD diffusion processes introduce auxiliary variables; if the data variable is interpreted as "position," then the auxiliary variables can be interpreted as "velocity" and "acceleration," depending on the chosen order of the model. They were originally proposed based on the intuition that they regularize the trajectories of the data variable by implicitly imposing additional dynamical constraints. Our work provides, to our knowledge, the first theoretical characterization of the regularization effect of HOLD. Specifically, we show that in HOLD, the dynamics of the data variable are governed by a low-pass-filtered version of the learned score function, with smoothness increasing with the order of HOLD. We then analyze the optimal empirical score and the possibility of distribution collapse. Together, our results explain the mitigation of memorization as the model order increases. Finally, we present an empirical study on real-world data that supports our theory and highlights this distinct advantage of HOLD over standard diffusion in practice.
• Abstract（参考訳）: 拡散/スコアベースモデルが強力な生成モデルとして登場し、トレーニングデータ分布を模倣する高品質なサンプルを生成することができる。 しかし、著作権とプライバシーを潜在的に侵害する「記憶化」として知られるトレーニングサンプルを再現する傾向が指摘されている。 本稿では,この現象に対する高次ランゲヴィンダイナミクス(HOLD)の効果について検討する。 HOLD拡散過程は補助変数を導入し、データ変数を「配置」と解釈すると、補助変数はモデルの選択順序に応じて「速度」と「加速」と解釈できる。 これらは、データ変数の軌跡を暗黙的に動的制約を課すことによって規則化するという直感に基づいて提案された。 我々の研究は、私たちの知る限り、HOLDの正則化効果の最初の理論的特徴を提供する。 具体的には、HOLDにおいて、データ変数のダイナミクスは、学習されたスコア関数の低パスフィルタバージョンによって制御され、HOLDの順に滑らかさが増加することを示す。 次に,最適経験値と分布崩壊の可能性を分析する。 この結果から,モデル順序の増大に伴う記憶の緩和が説明できる。 最後に、我々の理論を支持する実世界のデータに関する実証的研究を行い、実際の標準拡散に対するHOLDの明確な優位性を強調した。

関連論文リスト

• An Analytical Theory of Spectral Bias in the Learning Dynamics of Diffusion Models [29.972063833424215]
  本研究では,拡散モデル学習中に生成した分布がどのように進化するかを理解するための解析的枠組みを開発する。 結果の確率フローODEを統合し、生成した分布の解析式を生成する。
  論文  参考訳（メタデータ） (2025-03-05T05:50:38Z)
• On the Relation Between Linear Diffusion and Power Iteration [42.158089783398616]
  相関機械として生成過程を研究する」 生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
  論文  参考訳（メタデータ） (2024-10-16T07:33:12Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• On Memorization in Diffusion Models [44.031805633114985]
  より小さなデータセットでは記憶の挙動が生じる傾向があることを示す。 我々は、有効モデル記憶(EMM)の観点から、影響因子がこれらの記憶行動に与える影響を定量化する。 本研究は,拡散モデル利用者にとって実用的意義を持ち,深部生成モデルの理論研究の手がかりを提供する。
  論文  参考訳（メタデータ） (2023-10-04T09:04:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。