論文の概要: Denoising Score Matching with Random Features: Insights on Diffusion Models from Precise Learning Curves

• arxiv url: http://arxiv.org/abs/2502.00336v2
• Date: Tue, 07 Oct 2025 19:37:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 14:21:17.93236
• Title: Denoising Score Matching with Random Features: Insights on Diffusion Models from Precise Learning Curves
• Title（参考訳）: ランダムな特徴とスコアマッチングを識別する:精密学習曲線からの拡散モデルの検討
• Authors: Anand Jerry George, Rodrigo Veiga, Nicolas Macris,
• Abstract要約: 実験的な研究は、一般化と記憶は、モデルの複雑さとトレーニングデータセットのサイズに影響されていることを示唆している。 単純な理論的条件下で,DSM(Denoising Score Matching)の試験・訓練誤差を正確に表現することで,これらの振る舞いを捉える。 我々の理論的発見は経験的観察と一致している。
• 参考スコア（独自算出の注目度）: 8.038035670274706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We theoretically investigate the phenomena of generalization and memorization in diffusion models. Empirical studies suggest that these phenomena are influenced by model complexity and the size of the training dataset. In our experiments, we further observe that the number of noise samples per data sample ($m$) used during Denoising Score Matching (DSM) plays a significant and non-trivial role. We capture these behaviors and shed insights into their mechanisms by deriving asymptotically precise expressions for test and train errors of DSM under a simple theoretical setting. The score function is parameterized by random features neural networks, with the target distribution being $d$-dimensional Gaussian. We operate in a regime where the dimension $d$, number of data samples $n$, and number of features $p$ tend to infinity while keeping the ratios $\psi_n=\frac{n}{d}$ and $\psi_p=\frac{p}{d}$ fixed. By characterizing the test and train errors, we identify regimes of generalization and memorization as a function of $\psi_n,\psi_p$, and $m$. Our theoretical findings are consistent with the empirical observations.
• Abstract（参考訳）: 拡散モデルにおける一般化現象と記憶現象を理論的に検討する。 実験的な研究は、これらの現象がモデルの複雑さとトレーニングデータセットのサイズに影響されていることを示唆している。 実験では,DSM(Denoising Score Matching)におけるデータサンプルあたりのノイズサンプル数(m$)が重要かつ非自明な役割を担っていることが明らかとなった。 簡単な理論的条件下でDSMのテストおよびトレーニングエラーに対する漸近的正確な表現を導出することにより、これらの振る舞いを捉え、それらのメカニズムに関する洞察を隠蔽する。 スコア関数はランダム特徴ニューラルネットワークによってパラメータ化され、ターゲット分布は$d$D Gaussianである。 次元$d$、データサンプル数$n$、特徴数$p$は無限大の傾向にあるが、比率$\psi_n=\frac{n}{d}$と$\psi_p=\frac{p}{d}$は固定されている。 テストとトレーニングエラーを特徴付けることで、一般化と記憶の仕組みを $\psi_n,\psi_p$, $m$ の関数として識別する。 我々の理論的発見は経験的観察と一致している。

関連論文リスト

• Diffusion Tree Sampling: Scalable inference-time alignment of diffusion models [13.312007032203857]
  事前訓練された拡散モデルを推論時に新しい目的に適応させることは、生成的モデリングにおいて未解決の問題である。 そこで本研究では,終末報酬を拡散連鎖を通じて伝播させることにより,報奨目標密度から抽出するツリーベースアプローチを提案する。 以前の世代からの情報を再利用することで、任意のアルゴリズムが追加の計算を着実により良いサンプルに変換する。
  論文  参考訳（メタデータ） (2025-06-25T17:59:10Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Random features and polynomial rules [0.0]
  本稿では,ガウスデータを用いた一般教師付き学習問題に対するランダム特徴モデルの性能の一般化について述べる。 我々は、$Dto infty$と$P/DK$,$N/DL$の間の少なくとも一方が有限である極限から遠く離れた良い合意を見出す。
  論文  参考訳（メタデータ） (2024-02-15T18:09:41Z)
• Diffusion Random Feature Model [0.0]
  本稿では,拡散モデルにインスパイアされた深部ランダム特徴モデルを提案する。 サンプルデータの分布と真の分布との一般化境界をスコアマッチングの特性を用いて導出する。 ファッションMNISTデータセットとインストゥルメンタルオーディオデータに基づいてサンプルを生成し,本研究の検証を行った。
  論文  参考訳（メタデータ） (2023-10-06T17:59:05Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• On the Identifiability and Estimation of Causal Location-Scale Noise Models [122.65417012597754]
  位置スケール・異方性雑音モデル(LSNM)のクラスについて検討する。 症例によっては, 因果方向が同定可能であることが示唆された。 我々は,LSNMの2つの推定器を提案し,その1つは(非線形)特徴写像に基づく推定器と,1つはニューラルネットワークに基づく推定器を提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:18:59Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Precise Learning Curves and Higher-Order Scaling Limits for Dot Product Kernel Regression [41.48538038768993]
  本稿では,ドット積カーネルのカーネルリッジ回帰問題に焦点をあてる。 我々は、任意の整数$r$に対して$m approx dr/r!$が常に学習曲線のピークを観測し、複数のサンプルワイズと非自明な振る舞いを複数のスケールで達成する。
  論文  参考訳（メタデータ） (2022-05-30T04:21:31Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• System Identification Through Lipschitz Regularized Deep Neural Networks [0.4297070083645048]
  ニューラルネットワークを使って、データから支配方程式を学習します。 我々は、観測されたタイムスタンプデータから直接、ODEs $dotx(t) = f(t, x(t))$の右辺を再構築する。
  論文  参考訳（メタデータ） (2020-09-07T17:52:51Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。