論文の概要: Smoothing the Score Function for Generalization in Diffusion Models: An Optimization-based Explanation Framework

• arxiv url: http://arxiv.org/abs/2601.19285v1
• Date: Tue, 27 Jan 2026 07:16:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.221693
• Title: Smoothing the Score Function for Generalization in Diffusion Models: An Optimization-based Explanation Framework
• Title（参考訳）: 拡散モデルにおける一般化のためのスコア関数の平滑化:最適化に基づく説明フレームワーク
• Authors: Xinyu Zhou, Jiawei Zhang, Stephen J. Wright,
• Abstract要約: 拡散モデルは顕著な世代品質を達成するが、記憶と呼ばれる根本的な課題に直面している。 実験的なスコア関数がガウス分布のスコア関数の重み付け和であることを示し、この現象を説明する理論的枠組みを開発する。 実際には、経験的スコア関数をニューラルネットワークで近似することで、この問題を部分的に緩和し、一般化を改善することができる。
• 参考スコア（独自算出の注目度）: 18.032864089341327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models achieve remarkable generation quality, yet face a fundamental challenge known as memorization, where generated samples can replicate training samples exactly. We develop a theoretical framework to explain this phenomenon by showing that the empirical score function (the score function corresponding to the empirical distribution) is a weighted sum of the score functions of Gaussian distributions, in which the weights are sharp softmax functions. This structure causes individual training samples to dominate the score function, resulting in sampling collapse. In practice, approximating the empirical score function with a neural network can partially alleviate this issue and improve generalization. Our theoretical framework explains why: In training, the neural network learns a smoother approximation of the weighted sum, allowing the sampling process to be influenced by local manifolds rather than single points. Leveraging this insight, we propose two novel methods to further enhance generalization: (1) Noise Unconditioning enables each training sample to adaptively determine its score function weight to increase the effect of more training samples, thereby preventing single-point dominance and mitigating collapse. (2) Temperature Smoothing introduces an explicit parameter to control the smoothness. By increasing the temperature in the softmax weights, we naturally reduce the dominance of any single training sample and mitigate memorization. Experiments across multiple datasets validate our theoretical analysis and demonstrate the effectiveness of the proposed methods in improving generalization while maintaining high generation quality.
• Abstract（参考訳）: 拡散モデルは優れた生成品質を達成するが、記憶と呼ばれる基本的な課題に直面し、そこで生成されたサンプルはトレーニングサンプルを正確に再現することができる。 本研究では,経験的スコア関数(経験的分布に対応するスコア関数)がガウス分布のスコア関数の重み付け和であり,重みが鋭いソフトマックス関数であることを示すことによって,この現象を説明する理論的枠組みを開発する。 この構造は個々のトレーニングサンプルがスコア関数を支配し、サンプリング崩壊を引き起こす。 実際には、経験的スコア関数をニューラルネットワークで近似することで、この問題を部分的に緩和し、一般化を改善することができる。 トレーニングでは、ニューラルネットワークは重み付け和のよりスムーズな近似を学習し、サンプリングプロセスが単一点ではなく局所多様体の影響を受けられるようにします。 ノイズアンコンディショニングにより、各トレーニングサンプルのスコア関数の重み付けを適応的に決定し、より多くのトレーニングサンプルの効果を高め、単一点支配と崩壊の防止を可能にする。 2) 温度平滑化は滑らかさを制御するための明示的なパラメータを導入している。 軟質マックス重量の温度を上昇させることで, トレーニングサンプル1個を自然に減らし, 暗記を緩和する。 複数のデータセットにまたがる実験は、我々の理論解析を検証し、高次品質を維持しつつ一般化を改善するための提案手法の有効性を実証する。

関連論文リスト

• A Classical View on Benign Overfitting: The Role of Sample Size [14.36840959836957]
  モデルは任意に小さなトレーニングとテストエラーの両方を同時に達成する。 この振舞いはニューラルネットワークの特徴であり、しばしば低い(しかしゼロではない)トレーニングエラーを達成するが、それでもよく一般化される。
  論文  参考訳（メタデータ） (2025-05-16T18:37:51Z)
• On the Interpolation Effect of Score Smoothing in Diffusion Models [12.335698325757493]
  このような創造性は経験的スコア関数の滑らか化による影響から生じるという仮説を考察する。 理論的には、正規化された2層ReLUニューラルネットワークが、経験的スコア関数の約1つのスムーズなバージョンを学習する傾向を示す。 本稿では,ニューラルネットワークを用いた学習スコア関数が,実際にスコアスムーシング効果を誘導することを示す。
  論文  参考訳（メタデータ） (2025-02-26T19:04:01Z)
• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [19.62665684173391]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本稿では,マーチンゲールに基づく誤り分解とシャープな分散境界を導入し,従属データから効率的な学習を可能にする。 これらの知見に基づいて,より高い雑音レベルにおいて精度を向上させるために,事前学習したスコアを活用する分散低減手法であるBootstrapped Score Matching (BSM)を提案する。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• Memorization and Regularization in Generative Diffusion Models [5.128303432235475]
  拡散モデルは、生成モデリングの強力なフレームワークとして登場した。 この分析は、解析的に抽出可能な最小化器の再生を避けるための正規化の必要性を強調している。 実験は記憶の文脈で評価され、今後の正規化の方向性が強調される。
  論文  参考訳（メタデータ） (2025-01-27T05:17:06Z)
• The Unreasonable Effectiveness of Gaussian Score Approximation for Diffusion Models and its Applications [1.8416014644193066]
  学習したニューラルスコアと2種類の抽出可能な分布のスコアを比較した。 学習したニューラルスコアは、中等度から高雑音スケールに対する線形(ガウス)近似によって支配される。 その結果,試料品質を維持しつつ,最初の15～30%のサンプリングステップをスキップできることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T21:31:27Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
  本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。 我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。 我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
  論文  参考訳（メタデータ） (2021-10-21T14:47:06Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。