論文の概要: Quantitative Local Convergence of Mean-Field Stein Variational Gradient Flow
- arxiv url: http://arxiv.org/abs/2605.09456v1
- Date: Sun, 10 May 2026 10:15:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.25934
- Title: Quantitative Local Convergence of Mean-Field Stein Variational Gradient Flow
- Title(参考訳): 平均場定常変分勾配流れの定量的局所収束
- Authors: Lénaïc Chizat, Maria Colombo, Roberto Colombo, Xavier Fernández-Real,
- Abstract要約: 平均場限界と連続時間限界では、流れが目標に向かって弱く収束することが知られているが、最後の特異点について定量的な速度は知られていない。
相互作用核が$d$次元トーラス上のリース型であるとき、この力学の強いノルムにおける定量的局所収束を確立する。
これらの速度は特定の状態において鋭く、数値実験で理論を支持することを示す。
- 参考スコア(独自算出の注目度): 10.511277414974613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stein Variational Gradient Descent (SVGD) is a deterministic interacting-particle method for sampling from a target probability measure given access to its score function. In the mean-field and continuous-time limit, it is known that the flow converges weakly toward the target, but no quantitative rate is known for the last iterate. In this paper, we establish quantitative local convergence in strong norms for this dynamics, when the interaction kernel is of Riesz type on the $d$-dimensional torus. Specifically, assuming that the initial density and the target are smooth and close in $L^2$-norm, we obtain explicit polynomial convergence rates in $L^2$-norm that depend on the dimension and on the regularity parameters of the kernel, the initialization and the target. We further show that these rates are sharp in certain regimes, and support the theory with numerical experiments. In the edge case of kernels with a Coulomb singularity, we recover the global exponential convergence result established in prior work. Our analysis is inspired by recent results on Wasserstein gradient flows of kernel mean discrepancies.
- Abstract(参考訳): Stein Variational Gradient Descent (SVGD) は、そのスコア関数に与えられた目標確率測度からサンプリングする決定論的相互作用粒子法である。
平均場限界と連続時間限界では、流れが目標に向かって弱く収束することが知られているが、最後の反復について定量的な速度は知られていない。
本稿では, 相互作用核が$d$次元トーラス上のリース型であるとき, この力学の強ノルムにおける定量的局所収束を確立する。
具体的には、初期密度とターゲットが$L^2$-normで滑らかで近接していると仮定すると、カーネルの次元および正規性パラメータ、初期化およびターゲットに依存する$L^2$-normにおける明示的な多項式収束率を得る。
さらに、これらの速度が特定の状態において鋭いことを示し、数値実験で理論を支持する。
クーロン特異点を持つ核のエッジの場合、先行研究で確立された大域指数収束結果を回復する。
我々の分析は、カーネル平均不一致のワッサーシュタイン勾配流れに関する最近の結果に着想を得たものである。
関連論文リスト
- Quantitative Convergence of Wasserstein Gradient Flows of Kernel Mean Discrepancies [10.511277414974613]
ケルネル平均離散関数のワッサーシュタイン勾配流の定量的収束について検討した。
我々の設定は、特に無限幅および連続時間制限における浅層ニューラルネットワークのトレーニング力学をカバーしている。
論文 参考訳(メタデータ) (2026-03-02T15:32:54Z) - Finite-Particle Rates for Regularized Stein Variational Gradient Descent [9.824622287505454]
We derived finite- Particle rate for the regularized Stein variational descent gradient (R-SVGD) algorithm introduced by He et al。
結果として生じる相互作用である$N$-粒子系に対して、時間平均(アニール)経験的測度に対する明示的な非漸近境界を確立する。
解析では,連続時間と離散時間の両方を対象とし,正規化パラメータ,ステップサイズ,平均地平線に対する原則的チューニング規則を導出する。
論文 参考訳(メタデータ) (2026-02-05T01:00:00Z) - Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent [14.890609936348277]
我々は、Kernelized Stein Discrepancy (mathsfKSD$) と Wasserstein-2 メトリクスにおいて、スタイン変分勾配Descentアルゴリズムに対して有限粒子収束率を提供する。
我々の重要な洞察は、N$粒子位置の接合密度の間の相対エントロピーの時間微分が、期待される$mathsfKSD2$のN$倍とより小さな正の値に比例して支配的な負の部分に分裂するということである。
論文 参考訳(メタデータ) (2024-09-13T01:49:19Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳(メタデータ) (2024-04-18T16:46:08Z) - A Finite-Particle Convergence Rate for Stein Variational Gradient
Descent [47.6818454221125]
我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。
我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
論文 参考訳(メタデータ) (2022-11-17T17:50:39Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳(メタデータ) (2021-09-08T18:00:05Z) - The Convergence Indicator: Improved and completely characterized
parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。
この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
論文 参考訳(メタデータ) (2020-06-06T19:08:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。