論文の概要: Denoising Score Matching with Random Features: Insights on Diffusion Models from Precise Learning Curves

• arxiv url: http://arxiv.org/abs/2502.00336v1
• Date: Sat, 01 Feb 2025 06:43:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:11.599778
• Title: Denoising Score Matching with Random Features: Insights on Diffusion Models from Precise Learning Curves
• Title（参考訳）: ランダムな特徴とスコアマッチングを識別する:精密学習曲線からの拡散モデルの検討
• Authors: Anand Jerry George, Rodrigo Veiga, Nicolas Macris,
• Abstract要約: 生成拡散モデルにおいて,評価スコアマッチングの検定誤差と訓練誤差の正確な式を導出する。 私たちは次元$d$、データサンプル数$n$、機能数$p$が無限大となるような状態で運用しています。 私たちの仕事は、一般化と記憶のいずれも強化された条件に光を当てています。
• 参考スコア（独自算出の注目度）: 8.539326630369592
• License:
• Abstract: We derive asymptotically precise expressions for test and train errors of denoising score matching (DSM) in generative diffusion models. The score function is parameterized by random features neural networks, with the target distribution being $d$-dimensional standard Gaussian. We operate in a regime where the dimension $d$, number of data samples $n$, and number of features $p$ tend to infinity while keeping the ratios $\psi_n=\frac{n}{d}$ and $\psi_p=\frac{p}{d}$ fixed. By characterizing the test and train errors, we identify regimes of generalization and memorization in diffusion models. Furthermore, our work sheds light on the conditions enhancing either generalization or memorization. Consistent with prior empirical observations, our findings indicate that the model complexity ($p$) and the number of noise samples per data sample ($m$) used during DSM significantly influence generalization and memorization behaviors.
• Abstract（参考訳）: 生成拡散モデルにおけるDSM(denoising score matching)の試験・訓練誤差に対する漸近的正確な表現を導出する。 スコア関数はランダム特徴ニューラルネットワークによってパラメータ化され、ターゲット分布は$d$D標準ガウスである。 次元$d$、データサンプル数$n$、特徴数$p$は無限大の傾向にあるが、比率$\psi_n=\frac{n}{d}$と$\psi_p=\frac{p}{d}$は固定されている。 実験と列車の誤りを特徴付けることにより,拡散モデルにおける一般化と記憶の仕組みを同定する。 さらに,本研究は,一般化と記憶の両面に光を当てている。 以上の結果から,DSMにおけるモデル複雑度(p$)とデータサンプルあたりのノイズサンプル数(m$)が,一般化や記憶行動に大きく影響していることが示唆された。

関連論文リスト

• Random features and polynomial rules [0.0]
  本稿では,ガウスデータを用いた一般教師付き学習問題に対するランダム特徴モデルの性能の一般化について述べる。 我々は、$Dto infty$と$P/DK$,$N/DL$の間の少なくとも一方が有限である極限から遠く離れた良い合意を見出す。
  論文  参考訳（メタデータ） (2024-02-15T18:09:41Z)
• Diffusion Random Feature Model [0.0]
  本稿では,拡散モデルにインスパイアされた深部ランダム特徴モデルを提案する。 サンプルデータの分布と真の分布との一般化境界をスコアマッチングの特性を用いて導出する。 ファッションMNISTデータセットとインストゥルメンタルオーディオデータに基づいてサンプルを生成し,本研究の検証を行った。
  論文  参考訳（メタデータ） (2023-10-06T17:59:05Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• On the Identifiability and Estimation of Causal Location-Scale Noise Models [122.65417012597754]
  位置スケール・異方性雑音モデル(LSNM)のクラスについて検討する。 症例によっては, 因果方向が同定可能であることが示唆された。 我々は,LSNMの2つの推定器を提案し,その1つは(非線形)特徴写像に基づく推定器と,1つはニューラルネットワークに基づく推定器を提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:18:59Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Precise Learning Curves and Higher-Order Scaling Limits for Dot Product Kernel Regression [41.48538038768993]
  本稿では,ドット積カーネルのカーネルリッジ回帰問題に焦点をあてる。 我々は、任意の整数$r$に対して$m approx dr/r!$が常に学習曲線のピークを観測し、複数のサンプルワイズと非自明な振る舞いを複数のスケールで達成する。
  論文  参考訳（メタデータ） (2022-05-30T04:21:31Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。