論文の概要: When Diffusion Models Memorize: Inductive Biases in Probability Flow of Minimum-Norm Shallow Neural Nets

• arxiv url: http://arxiv.org/abs/2506.19031v1
• Date: Mon, 23 Jun 2025 18:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.344054
• Title: When Diffusion Models Memorize: Inductive Biases in Probability Flow of Minimum-Norm Shallow Neural Nets
• Title（参考訳）: 拡散モデルが記憶する時:最小ノルム浅層ニューラルネットの確率流における誘導バイアス
• Authors: Chen Zeno, Hila Manor, Greg Ongie, Nir Weinberger, Tomer Michaeli, Daniel Soudry,
• Abstract要約: 鍵となる問題は、確率フローがデータ多様体上のトレーニングサンプルまたはより一般的な点に収束する時である。 我々は、最小$ell2$ノルムで訓練された浅いReLUニューラルネットワークデノイザの確率フローを解析することによって、これを解析する。
• 参考スコア（独自算出の注目度）: 47.818753335400714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While diffusion models generate high-quality images via probability flow, the theoretical understanding of this process remains incomplete. A key question is when probability flow converges to training samples or more general points on the data manifold. We analyze this by studying the probability flow of shallow ReLU neural network denoisers trained with minimal $\ell^2$ norm. For intuition, we introduce a simpler score flow and show that for orthogonal datasets, both flows follow similar trajectories, converging to a training point or a sum of training points. However, early stopping by the diffusion time scheduler allows probability flow to reach more general manifold points. This reflects the tendency of diffusion models to both memorize training samples and generate novel points that combine aspects of multiple samples, motivating our study of such behavior in simplified settings. We extend these results to obtuse simplex data and, through simulations in the orthogonal case, confirm that probability flow converges to a training point, a sum of training points, or a manifold point. Moreover, memorization decreases when the number of training samples grows, as fewer samples accumulate near training points.
• Abstract（参考訳）: 拡散モデルは確率フローを通じて高品質な画像を生成するが、この過程の理論的理解はいまだ不完全である。 重要な問題は、確率フローがデータ多様体上のトレーニングサンプルまたはより一般的な点に収束するかどうかである。 我々は、最小の$\ell^2$ノルムで訓練された浅いReLUニューラルネットワークデノイザの確率フローを解析することによって、これを解析する。 直観的には、単純なスコアフローを導入し、直交データセットでは、両方のフローが同様の軌道を辿り、トレーニングポイントやトレーニングポイントの総和に収束することを示す。 しかし、拡散時間スケジューラによる早期停止により、確率フローはより一般的な多様体点に到達することができる。 このことは,複数のサンプルの側面を組み合わせた新しい点の生成と,簡単な設定でそのような挙動を研究するための拡散モデルの傾向を反映している。 これらの結果を単純なデータに拡張し、直交の場合のシミュレーションにより、確率フローがトレーニング点、トレーニング点の和、多様体点に収束することを確認する。 さらに、トレーニングポイント付近に蓄積するサンプルが少ないため、トレーニングサンプルの数が増えるとメモリ化が減少する。

関連論文リスト

• Progressive Inference-Time Annealing of Diffusion Models for Sampling from Boltzmann Densities [85.83359661628575]
  拡散に基づくサンプル学習のために, PITA(Progressive Inference-Time Annealing)を提案する。 PITAはボルツマン分布のアナーリングと拡散平滑化という2つの相補的手法を組み合わせたものである。 N-体粒子系、アラニンジペプチド、トリペプチドの平衡サンプリングを可能にする。
  論文  参考訳（メタデータ） (2025-06-19T17:14:22Z)
• No Trick, No Treat: Pursuits and Challenges Towards Simulation-free Training of Neural Samplers [41.867855070932706]
  サンプリング問題は,正規化定数までしか知られていない分布からサンプルを抽出することを目的としている。 近年、高次元データ分布を近似する生成モデリングのブレークスルーが、この問題に対するニューラルネットワークベースの手法の開発に大きな関心を喚起している。 本稿では,時間依存正規化フローの助けを借りてシミュレーション不要なトレーニングを可能にする,従来の手法のエレガントな修正を提案する。
  論文  参考訳（メタデータ） (2025-02-10T17:13:11Z)
• A solvable generative model with a linear, one-step denoiser [0.0]
  線形デノイザに基づく解析的抽出可能な単一ステップ拡散モデルを構築した。 トレーニングデータセットのサイズがデータポイントの次元に達すると,Kulback-Leibler分散の単調落下相が始まります。
  論文  参考訳（メタデータ） (2024-11-26T19:00:01Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
  推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。 多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。 本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。