Fugu-MT 論文翻訳(概要): A Finite-Particle Convergence Rate for Stein Variational Gradient Descent

論文の概要: A Finite-Particle Convergence Rate for Stein Variational Gradient Descent

arxiv url: http://arxiv.org/abs/2211.09721v5
Date: Thu, 2 Nov 2023 01:14:17 GMT
ステータス: 処理完了
システム内更新日: 2023-11-03 18:21:52.562788
Title: A Finite-Particle Convergence Rate for Stein Variational Gradient Descent
Title（参考訳）: スタイン変分勾配降下のための有限粒子収束速度
Authors: Jiaxin Shi and Lester Mackey
Abstract要約: 我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
参考スコア（独自算出の注目度）: 47.6818454221125
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We provide the first finite-particle convergence rate for Stein variational gradient descent (SVGD), a popular algorithm for approximating a probability distribution with a collection of particles. Specifically, whenever the target distribution is sub-Gaussian with a Lipschitz score, SVGD with n particles and an appropriate step size sequence drives the kernel Stein discrepancy to zero at an order 1/sqrt(log log n) rate. We suspect that the dependence on n can be improved, and we hope that our explicit, non-asymptotic proof strategy will serve as a template for future refinements.
Abstract（参考訳）: 粒子の集合で確率分布を近似する一般的なアルゴリズムであるスタイン変分勾配降下(SVGD)に対する最初の有限粒子収束速度を提供する。具体的には、ターゲット分布がリプシッツスコアのサブガウジアンである場合、n個の粒子と適切なステップサイズシーケンスを持つsvgdは、カーネルスタインの不一致を1/sqrt(log log n)レートでゼロにする。 n への依存度が向上し、我々の明示的で非漸近的な証明戦略が将来の改良のテンプレートになることを期待している。

関連論文リスト

Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent [14.890609936348277]
我々は、Kernelized Stein Discrepancy (mathsfKSD$) と Wasserstein-2 メトリクスにおいて、スタイン変分勾配Descentアルゴリズムに対して有限粒子収束率を提供する。我々の重要な洞察は、N$粒子位置の接合密度の間の相対エントロピーの時間微分が、期待される$mathsfKSD2$のN$倍とより小さな正の値に比例して支配的な負の部分に分裂するということである。
論文参考訳（メタデータ） (2024-09-13T01:49:19Z)
Stein transport for Bayesian inference [3.009591302286514]
我々は,ベイズ推論のための新しい手法である$textitStein transport$を紹介した。駆動ベクトル場は再生カーネルヒルベルト空間から選択され、適切なカーネルリッジ回帰定式化またはスタイン幾何学における無限小最適輸送写像として導出することができる。 SVGDと比較して,Stein輸送は計算予算を大幅に削減した上で,より正確な後方近似に到達するだけでなく,SVGDでよく見られる分散崩壊現象を効果的に緩和することを示した。
論文参考訳（メタデータ） (2024-09-02T21:03:38Z)
Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
収束過程における有限粒子の等方性特性について検討する。すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
論文参考訳（メタデータ） (2023-05-18T01:13:04Z)
High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad Stepsize [55.0090961425708]
本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
論文参考訳（メタデータ） (2022-04-06T13:50:33Z)
Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文参考訳（メタデータ） (2021-06-01T19:21:48Z)
Kernel Stein Discrepancy Descent [16.47373844775953]
Kernel Stein Discrepancy (KSD) は近年注目されている。我々は、目標確率分布を$mathbbRd$上で近似するために、ワッサーシュタイン勾配流の特性について検討する。これにより、直接実装可能な決定論的スコアベースのメソッドが、$pi$、KSD Descentからサンプリングされる。
論文参考訳（メタデータ） (2021-05-20T19:05:23Z)
Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文参考訳（メタデータ） (2020-12-21T18:33:13Z)
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文参考訳（メタデータ） (2020-10-19T15:23:18Z)
A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
論文参考訳（メタデータ） (2020-06-17T12:01:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。