論文の概要: Denoising Score Matching in Diffusion Models: The Effect of Rank Constraints on Generalization

• arxiv url: http://arxiv.org/abs/2610.20850v1
• Date: Wed, 14 Oct 2026 19:36:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.04354
• Title: Denoising Score Matching in Diffusion Models: The Effect of Rank Constraints on Generalization
• Title（参考訳）: 拡散モデルにおけるスコアマッチングの認知:ランク制約が一般化に及ぼす影響
• Abstract要約: 本研究では,ランク制約付き非線形項と線形スキップ接続を有するスコアネットワークを用いたスコアマッチングについて検討する。 組込み球上でサポートされたデータ上でのトレーニング可能な3層ネットワークによる実験では、ランクの上昇はトレーニングエラーを減少させるが、テストエラーへの影響はサンプルサイズとデータ次元に依存する。
• 参考スコア（独自算出の注目度）: 7.047721358838963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Architectural biases restrict the class of functions that a diffusion score network can represent, but their effect on generalization remains poorly understood. We study denoising score matching with score networks having a rank constrained non-linear term and a linear skip connection. Numerical experiments with trainable three-layer networks on data supported on an embedded sphere show that increasing rank lowers training error, but its effect on test error depends on sample size and data dimension. To explain this behavior, we analyze a random-feature score model under rank constraint with Gaussian data supported on a low-dimensional subspace. We characterize the optimal rank-constrained estimator through a truncated singular value decomposition and derive asymptotically precise limiting training and test errors when sample size $(n)$, feature width $(p)$, data dimension $(D)$, and rank $(r)$ scale proportionally with the ambient dimension $(d)$. The resulting spectral characterization distinguishes eigenmodes that improve the empirical fit from those that improve population accuracy. It also identifies the dimension of the orthogonal complement of the data subspace as a natural rank threshold. The theoretical learning curves qualitatively reproduce the observed rank-dependent overfitting, providing a tractable account of how bottlenecks or rank constraints can regularize score estimation and why their effectiveness depends on data dimension and sample size.
• Abstract（参考訳）: アーキテクチャバイアスは拡散スコアネットワークが表現できる関数のクラスを制限するが、一般化に対するそれらの影響はよく分かっていない。 本研究では,ランク制約付き非線形項と線形スキップ接続を有するスコアネットワークと,スコアマッチングについて検討する。 組込み球上に支持されたデータ上でのトレーニング可能な3層ネットワークによる数値実験により、ランクの上昇はトレーニング誤差を減少させるが、テスト誤差への影響はサンプルサイズとデータ次元に依存することが示された。 この振る舞いを説明するために,低次元部分空間に支持されたガウスデータを用いて,ランク制約下でのランダムなスコアモデルを解析する。 最適階数制約推定器を、切り詰められた特異値分解により特徴付け、サンプルサイズ$(n)$, 特徴幅$(p)$, データ次元$(D)$, ランク$(r)$が周囲次元$(d)$と比例するときに、漸近的に正確なトレーニングとテストエラーを導出する。 結果のスペクトル特性は、経験的適合性を改善する固有モデムと、人口の正確性を改善する固有モデムを区別する。 また、データ部分空間の直交補空間の次元を自然なランク閾値として特定する。 理論学習曲線は、観測されたランク依存のオーバーフィッティングを定性的に再現し、ボトルネックやランク制約がどのようにスコア推定を正則化できるか、なぜそれらの有効性がデータ次元とサンプルサイズに依存するのかを把握可能な説明を提供する。

関連論文リスト

• LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency [16.73008463123115]
  大規模言語モデル(LLM)評価プラットフォームは、ペアワイズな人間の判断にますます依存している。 対比較による低ランク潜在スコアの半パラメトリック推定法として検討した。
  論文  参考訳（メタデータ） (2026-04-07T05:44:08Z)
• Asymptotic Learning Curves for Diffusion Models with Random Features Score and Manifold Data [7.047721358838963]
  本研究では,デノナイジングスコアマッチングの理論的挙動について検討する。 高次元の限界におけるテスト、トレーニング、スコアの正確な表現を導出します。
  論文  参考訳（メタデータ） (2026-03-24T08:58:12Z)
• Statistical Limits of Adaptive Linear Models: Low-Dimensional Estimation and Inference [5.924780594614676]
  データの任意適応が許された場合、単一の座標を推定する誤差を$sqrtd$の倍にすることができる。 2段階適応線形推定方程式(TALE)を解くことにより,単一座標推定のための新しい推定器を提案する。
  論文  参考訳（メタデータ） (2023-10-01T00:45:09Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Online stochastic gradient descent on non-convex losses from high-dimensional inference [2.2344764434954256]
  勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。 本稿では,データから非自明な相関関係を推定する。 本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
  論文  参考訳（メタデータ） (2020-03-23T17:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。