論文の概要: On the Robustness of Langevin Dynamics to Score Function Error

• arxiv url: http://arxiv.org/abs/2603.11319v1
• Date: Wed, 11 Mar 2026 21:25:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.652829
• Title: On the Robustness of Langevin Dynamics to Score Function Error
• Title（参考訳）: スコア関数誤差に対するランゲヴィンダイナミクスのロバスト性について
• Authors: Daniel Yiming Cao, August Y. Chen, Karthik Sridharan, Yuchen Wu,
• Abstract要約: スコア関数の推定において,ランゲヴィン力学はL2誤差に対して頑健ではないことを示す。 データからスコア関数を学習する際、スコア関数の推定におけるそのような誤差は避けられないので、この結果はランゲヴィン力学上の拡散モデルのさらなる正当性を提供する。
• 参考スコア（独自算出の注目度）: 7.866681655464706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the robustness of score-based generative modeling to errors in the estimate of the score function. In particular, we show that Langevin dynamics is not robust to the L^2 errors (more generally L^p errors) in the estimate of the score function. It is well-established that with small L^2 errors in the estimate of the score function, diffusion models can sample faithfully from the target distribution under fairly mild regularity assumptions in a polynomial time horizon. In contrast, our work shows that even for simple distributions in high dimensions, Langevin dynamics run for any polynomial time horizon will produce a distribution far from the target distribution in Total Variation (TV) distance, even when the L^2 error (more generally L^p) of the estimate of the score function is arbitrarily small. Considering such an error in the estimate of the score function is unavoidable in practice when learning the score function from data, our results provide further justification for diffusion models over Langevin dynamics and serve to caution against the use of Langevin dynamics with estimated scores.
• Abstract（参考訳）: スコア関数の推定における誤りに対するスコアベース生成モデルの堅牢性について考察する。 特に、ランゲヴィン力学はスコア関数の推定におけるL^2誤差(より一般的にはL^p誤差)に対して堅牢ではないことを示す。 スコア関数の推定値に小さなL^2誤差がある場合、拡散モデルは多項式時間地平線における比較的穏やかな規則性仮定の下で、目標分布から忠実にサンプリングできる。 対照的に、我々の研究は、高次元の単純な分布であっても、任意の多項式時間地平線に対してランゲヴィン力学は、スコア関数の推定値のL^2誤差(より一般的にはL^p)が任意に小さい場合でも、トータル変分(TV)距離のターゲット分布から遠く離れた分布を生成することを示した。 データからスコア関数を学習する際、スコア関数の推定におけるそのような誤差は避けられないので、この結果はランゲヴィン力学上の拡散モデルのさらなる正当性を提供し、推定スコアを用いたランゲヴィン力学の使用に対する注意に役立つ。

関連論文リスト

• Dimension-free error estimate for diffusion model and optimal scheduling [22.20348860913421]
  拡散生成モデルは、経験的に観察された分布から合成データを生成するための強力なツールとして登場した。 従来の分析では、生成したデータと真のデータ分布の誤差を、ワッサーシュタイン距離やクルバック・リーバーの偏差の観点から定量化していた。 本研究では, 生成したデータ分布と真のデータ分布との相違点に有意な次元自由境界を導出する。
  論文  参考訳（メタデータ） (2025-12-01T15:58:20Z)
• The Expected Loss of Preconditioned Langevin Dynamics Reveals the Hessian Rank [31.59029194382636]
  Langevin dynamics (LD) は分布のサンプリングや最適化に広く使われている。 目的関数の定常点付近でプレコンディショニングされたLDの損失を予想するクローズドフォーム式を導出する。
  論文  参考訳（メタデータ） (2024-02-21T13:47:51Z)
• Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling [82.36856860383291]
  我々は,標準深部ReLUニューラルネットワークをトレーニングすることにより,スコア関数の正確な推定が可能であることを実証した。 スコアマッチングに基づく因果発見手法を用いて因果関係の回復の誤差率の限界を確立する。
  論文  参考訳（メタデータ） (2023-10-27T13:09:56Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Subsampling Error in Stochastic Gradient Langevin Diffusions [0.7900303955225063]
  グラディエント・ランゲヴィン・ダイナミクス(英語版)(SGLD)は、統計的学習手順におけるベイズ的後続分布を大規模データで近似するために一般的に用いられる。 第1のエラーは、Langevin拡散プロセスのEuler-Maruyama離散化によって導入され、第2のエラーは、大規模なデータ設定での使用を可能にするデータサブサンプリングに由来する。 SLGDiffの指数的エルゴード性を示し、SGLDiffの後方と制限分布の間のワッサーシュタイン距離が平均待ち時間の分断パワーによって上界していることを示す。
  論文  参考訳（メタデータ） (2023-05-23T10:03:40Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Convergence of the Inexact Langevin Algorithm and Score-based Generative Models in KL Divergence [4.974890682815778]
  Inexact Langevin Dynamics (ILD), Inexact Langevin Algorithm (ILA), and Score-based Generative Modeling (SGM) について検討を行った。
  論文  参考訳（メタデータ） (2022-11-02T23:12:59Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。