論文の概要: Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent
- arxiv url: http://arxiv.org/abs/2409.08469v2
- Date: Mon, 30 Sep 2024 01:20:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 21:20:36.248660
- Title: Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent
- Title（参考訳）: 有限粒子収束率の向上による結晶粒径変化の抑制
- Authors: Krishnakumar Balasubramanian, Sayan Banerjee, Promit Ghosal,
- Abstract要約: 我々は、Kernelized Stein Discrepancy (mathsfKSD$) と Wasserstein-2 メトリクスにおいて、スタイン変分勾配Descentアルゴリズムに対して有限粒子収束率を提供する。
我々の重要な洞察は、N$粒子位置の接合密度の間の相対エントロピーの時間微分が、期待される$mathsfKSD2$のN$倍とより小さな正の値に比例して支配的な負の部分に分裂するということである。
- 参考スコア（独自算出の注目度）: 14.890609936348277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide finite-particle convergence rates for the Stein Variational Gradient Descent (SVGD) algorithm in the Kernelized Stein Discrepancy ($\mathsf{KSD}$) and Wasserstein-2 metrics. Our key insight is that the time derivative of the relative entropy between the joint density of $N$ particle locations and the $N$-fold product target measure, starting from a regular initial distribution, splits into a dominant `negative part' proportional to $N$ times the expected $\mathsf{KSD}^2$ and a smaller `positive part'. This observation leads to $\mathsf{KSD}$ rates of order $1/\sqrt{N}$, in both continuous and discrete time, providing a near optimal (in the sense of matching the corresponding i.i.d. rates) double exponential improvement over the recent result by Shi and Mackey (2024). Under mild assumptions on the kernel and potential, these bounds also grow polynomially in the dimension $d$. By adding a bilinear component to the kernel, the above approach is used to further obtain Wasserstein-2 convergence in continuous time. For the case of `bilinear + Mat\'ern' kernels, we derive Wasserstein-2 rates that exhibit a curse-of-dimensionality similar to the i.i.d. setting. We also obtain marginal convergence and long-time propagation of chaos results for the time-averaged particle laws.
- Abstract（参考訳）: 我々は、Kernelized Stein Discrepancy ($\mathsf{KSD}$) と Wasserstein-2 メトリクスにおいて、Stein Variational Gradient Descent (SVGD) アルゴリズムに対する有限粒子収束率を提供する。
我々の重要な洞察は、通常の初期分布から始まる$N$粒子位置の結合密度と$N$の積目標測度の相対エントロピーの時間微分が、期待される$\mathsf{KSD}^2$のN$倍に比例する支配的な「負の部分」とより小さい「正の部分」に分裂するということである。
この観測は、連続時間と離散時間の両方で位数 $1/\sqrt{N}$ の$\mathsf{KSD}$ となり、Shi と Mackey (2024) による最近の結果よりも、(対応する i.d. レートと一致するという意味で)ほぼ最適である。
核とポテンシャルに関する穏やかな仮定の下で、これらの境界は次元$d$で多項式的に成長する。
カーネルに双線型成分を加えることにより、上記のアプローチは、連続的にワッサーシュタイン-2収束を得るために用いられる。
Bilinear + Mat\'ern' カーネルの場合、i.d. の設定と似た次元の呪いを示す Wasserstein-2 レートを導出する。
また, 時間平均粒子法則に対して, カオス結果の限界収束と長期伝播を求める。
関連論文リスト
- Optimal convergence rates in trace distance and relative entropy for the quantum central limit theorem [2.7855886538423182]
有限第三次モーメントを持つ中心の$m$モード量子状態に対して、$rhoboxplus n$ と $rho_G$ のトレース距離が $mathcalO(n-1/2)$ の最適速度で崩壊することを示す。
有限四階モーメントを持つ状態に対しては、$rhoboxplus n$と$rho_G$の間の相対エントロピーが$mathcalO(n-1)$の最適速度で崩壊することを示す。
論文 参考訳（メタデータ） (2024-10-29T12:35:47Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Finite-Particle Convergence Rate for Stein Variational Gradient
Descent [47.6818454221125]
我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。
我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
論文 参考訳（メタデータ） (2022-11-17T17:50:39Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Estimating 2-Sinkhorn Divergence between Gaussian Processes from
Finite-Dimensional Marginals [4.416484585765028]
エルフガウス過程 (GP) 間の2-シンクホーンの偏差を有限次元の辺分布を用いて推定する収束性について検討する。
境界値が基底値に従ってサンプリングされた場合, ほぼ確実に発散の収束を示す。
論文 参考訳（メタデータ） (2021-02-05T16:17:55Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳（メタデータ） (2020-07-22T18:18:28Z) - Debiased Sinkhorn barycenters [110.79706180350507]
最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。
このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。
両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
論文 参考訳（メタデータ） (2020-06-03T23:06:02Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。
我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。
我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
論文 参考訳（メタデータ） (2020-03-25T17:03:58Z) - Optimal estimation of high-dimensional location Gaussian mixtures [6.947889260024788]
ワッサーシュタイン距離における混合分布を推定する最小値の値は$Theta((d/n)1/4 + n-1/(4k-2))$である。
また,混合密度はヘリンジャー距離の最適パラメトリックレート$Theta(sqrtd/n)$で推定可能であることを示す。
論文 参考訳（メタデータ） (2020-02-14T00:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。