論文の概要: Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition

• arxiv url: http://arxiv.org/abs/2206.00508v1
• Date: Wed, 1 Jun 2022 14:08:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 13:33:46.422276
• Title: Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition
• Title（参考訳）: 湿潤平滑化条件下での定常変分勾配の収束性
• Authors: Lukang Sun, Avetik Karagulyan and Peter Richtarik
• Abstract要約: 確率分布からサンプリングするLangevin型アルゴリズムの代用として,Stein Variational Gradient Descent (SVGD) が重要である。 既存のランゲヴィン型アルゴリズムとSVGDの理論では、ポテンシャル関数 $V$ はしばしば $L$-smooth と仮定される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stein Variational Gradient Descent (SVGD) is an important alternative to the Langevin-type algorithms for sampling from probability distributions of the form $\pi(x) \propto \exp(-V(x))$. In the existing theory of Langevin-type algorithms and SVGD, the potential function $V$ is often assumed to be $L$-smooth. However, this restrictive condition excludes a large class of potential functions such as polynomials of degree greater than $2$. Our paper studies the convergence of the SVGD algorithm for distributions with $(L_0,L_1)$-smooth potentials. This relaxed smoothness assumption was introduced by Zhang et al. [2019a] for the analysis of gradient clipping algorithms. With the help of trajectory-independent auxiliary conditions, we provide a descent lemma establishing that the algorithm decreases the $\mathrm{KL}$ divergence at each iteration and prove a complexity bound for SVGD in the population limit in terms of the Stein Fisher information.
• Abstract（参考訳）: Stein Variational Gradient Descent (SVGD) は、$\pi(x) \propto \exp(-V(x))$の形の確率分布からサンプリングするランゲヴィン型アルゴリズムの重要な代替品である。 既存のランゲヴィン型アルゴリズムとSVGDの理論では、ポテンシャル関数 $V$ はしばしば $L$-smooth と仮定される。 しかし、この制限条件は、次数 2$ 以上の多項式のようなポテンシャル関数の大きなクラスを除外する。 本稿では,$(L_0,L_1)$-smooth電位の分布に対するSVGDアルゴリズムの収束性について検討する。 この緩和された滑らかさの仮定は Zhang らによって導入された。 勾配クリッピングアルゴリズムの解析のための[2019a]。 トラジェクトリ非依存的な補助条件の助けを借りて、アルゴリズムが各反復における$\mathrm{KL}$分散を減らし、スタインフィッシャー情報の観点からSVGDに束縛された複雑性を証明した下降補題を提供する。

関連論文リスト

• Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation [9.065034043031668]
  SVGD(Stein Variational Gradient Descent)は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートする一般的な変分推論である。 仮想粒子の概念を導入し、確率測度空間における集団限界ダイナミクスの新たな近似を開発する。 VP-SVGD と GB-SVGD によって出力される$n$パーティクルは、バッチサイズ$K$で$T$のステップで実行されるが、ターゲットに対する Kernel Stein Disrepancy が少なくとも $Oleft(tfrac) であるような分布からの i.i.d サンプルと同程度であることを示す。
  論文  参考訳（メタデータ） (2023-05-27T19:21:28Z)
• ReSQueing Parallel and Private Stochastic Convex Optimization [59.53297063174519]
  本稿では,BFG凸最適化(SCO: Reweighted Query (ReSQue) 推定ツールを提案する。 我々はSCOの並列およびプライベート設定における最先端の複雑さを実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-01T18:51:29Z)
• Improved Stein Variational Gradient Descent with Importance Weights [0.0]
  Stein Variational Gradient Descent (SVGD) は、機械学習タスクでよく使われるサンプリングアルゴリズムである。 本稿では,重み付けの導入によるSVGDの向上を提案し,$beta$-SVGDと命名する新たな手法を提案する。
  論文  参考訳（メタデータ） (2022-10-02T08:42:44Z)
• A Note on the Convergence of Mirrored Stein Variational Gradient Descent under $(L_0,L_1)-$Smoothness Condition [0.0]
  我々は、ミロレッドスタイン変分法(MSVGD)の集団限界に対する降下補題を確立する。 この降下補題はMSVGDの経路情報に頼るのではなく、ミラー分布 $nablaPsi_#piproptoexp(-V)$ に対する単純な仮定に依存する。
  論文  参考訳（メタデータ） (2022-06-20T11:04:18Z)
• Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity [121.83085611327654]
  積 $r:=p + q$, ここで$r$は$mu$-strong convex類似性である。 エージェントの通信やローカルコールにマスターされた問題を解決する方法を提案する。 提案手法は$mathcalO(sqrtL_q/mu)$法よりもはるかにシャープである。
  論文  参考訳（メタデータ） (2022-05-30T14:28:02Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Complexity Analysis of Stein Variational Gradient Descent Under Talagrand's Inequality T1 [12.848239550098697]
  我々は、$pi(x) propto exp(-Fx)からサンプリングするアルゴリズムであるStein Variational Gradient Descent (SVGD)の複雑さについて検討する。 我々の重要な仮定は、対象分布が不等式の不等式 T1 を満たすことである。
  論文  参考訳（メタデータ） (2021-06-06T09:51:32Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。