論文の概要: Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors
- arxiv url: http://arxiv.org/abs/2606.06179v1
- Date: Thu, 04 Jun 2026 13:53:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.832392
- Title: Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors
- Title（参考訳）: 勾配のみを観測する拡散モデル:スコアマッチング誤差の幾何学的視点
- Authors: Naïl B. Khelifa, Richard E. Turner, Ramji Venkataramanan,
- Abstract要約: L2$のスコア誤差は、限界分布品質の固有値ではないことを示す。
学習した拡散モデルは、目標分布を完全に一致させながら、大きな$L2$スコア誤差を発生させることができる。
- 参考スコア（独自算出の注目度）: 27.894241484593735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Score-based diffusion models are typically trained by minimizing the $L^2$ score matching error, and standard theoretical analyses rely on this quantity to bound the sampling discrepancy between the learned and target distributions. We show the $L^2$ score error is not the right intrinsic measure of marginal distributional quality: a learned diffusion model can incur arbitrarily large $L^2$ score error while perfectly matching the target distribution. By decomposing score errors into a gradient and a solenoidal component (a Helmholtz-Hodge decomposition), we identify the geometric reason behind this: only the gradient component enters the marginal Fokker-Planck dynamics, while the solenoidal component is structurally invisible. We make this precise in three results. First, building on the corrected geometry, we prove an impossibility result: no monotone function of the $L^2$ score error can uniformly lower bound any divergence between the learned and target distributions. Second, we derive an upper bound on the Kullback-Leibler divergence that depends only on the observable gradient component of the error, tightening the standard Girsanov bound and identifying its looseness as the cost of operating on path-space rather than marginal-space dynamics. Third, we give a tractable estimator of the gradient component via a dual Sobolev identity, which is shown to empirically correlate substantially better with sample quality than the full $L^2$ error.
- Abstract（参考訳）: スコアベース拡散モデルは通常、$L^2$のスコアマッチング誤差を最小化することで訓練される。
L^2$のスコア誤差は限界分布の固有値ではないことを示す:学習拡散モデルは、目標分布を完璧に整合させながら、任意に大きい$L^2$スコア誤差を発生させることができる。
スコア誤差を勾配とソレノイド成分(ヘルムホルツ・ホッジ分解)に分解することにより、この背景にある幾何学的理由を同定する。
これを3つの結果で正確にする。
L^2$のスコア誤差の単調関数は、学習された分布と対象分布のばらつきを均一に下げることができない。
第二に、誤差の観測可能な勾配成分にのみ依存するクルバック・リーブラー分岐の上界を導出し、標準ギルサノフ境界を締め付け、そのゆるさを限界空間力学よりもパス空間上での演算のコストとして同定する。
第三に、双対ソボレフ恒等式を用いて勾配成分の抽出可能な推定器を与え、これは完全な$L^2$誤差よりも試料品質と著しく相関していることを示す。
関連論文リスト
- Information-Geometric Decomposition of Generalization Error in Unsupervised Learning [0.0]
教師なし学習のKulback-Leibler一般化誤差(GE)を,モデル誤差,データバイアス,分散の3つの非負成分に分解する。
分解は任意の e-フラットモデルクラスに対して完全である。
論文 参考訳（メタデータ） (2026-04-14T06:23:18Z) - Learning the score under shape constraints [7.005582630391827]
正方形の$L2(P_0)$-lossに対するスコア推定の最小リスクについて検討する。
推定問題の2つの基本的な側面を捉えた対数凹密度のサブクラスを定義する。
後者のクラスに対するミニマックスリスクは、次数$L2/(2+1)n-/(2+1)$からpoly-logarithmic factorまでである。
論文 参考訳（メタデータ） (2025-12-16T17:39:54Z) - Robustness of Nonlinear Representation Learning [60.15898117103069]
本研究では,教師なし表現学習の問題を,わずかに不特定な環境で研究する。
混合は線形変換と小さな誤差で識別可能であることを示す。
これらの結果は、実世界のデータに対する教師なし表現学習における識別可能性向上へのステップである。
論文 参考訳（メタデータ） (2025-03-19T15:57:03Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。
連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
論文 参考訳（メタデータ） (2024-04-15T12:29:28Z) - On counterfactual inference with unobserved confounding [36.18241676876348]
独立だが不均一な単位を持つ観測的研究を前提として、各単位の反実分布を学習することが目的である。
我々は、すべての$n$サンプルをプールして、すべての$n$パラメータベクトルを共同で学習する凸目的を導入する。
対数的ソボレフ不等式を満たすためにコンパクトに支持された分布に対して十分な条件を導出する。
論文 参考訳（メタデータ） (2022-11-14T04:14:37Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z) - Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文 参考訳（メタデータ） (2020-10-01T16:48:33Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。