論文の概要: A Non-Asymptotic Analysis for Stein Variational Gradient Descent

• arxiv url: http://arxiv.org/abs/2006.09797v4
• Date: Sun, 3 Jan 2021 11:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 19:32:53.523851
• Title: A Non-Asymptotic Analysis for Stein Variational Gradient Descent
• Title（参考訳）: スタイン変分勾配降下の非漸近解析
• Authors: Anna Korba, Adil Salim, Michael Arbel, Giulia Luise, Arthur Gretton
• Abstract要約: 定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
• 参考スコア（独自算出の注目度）: 44.30569261307296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the Stein Variational Gradient Descent (SVGD) algorithm, which optimises a set of particles to approximate a target probability distribution $\pi\propto e^{-V}$ on $\mathbb{R}^d$. In the population limit, SVGD performs gradient descent in the space of probability distributions on the KL divergence with respect to $\pi$, where the gradient is smoothed through a kernel integral operator. In this paper, we provide a novel finite time analysis for the SVGD algorithm. We provide a descent lemma establishing that the algorithm decreases the objective at each iteration, and rates of convergence for the average Stein Fisher divergence (also referred to as Kernel Stein Discrepancy). We also provide a convergence result of the finite particle system corresponding to the practical implementation of SVGD to its population version.
• Abstract（参考訳）: 粒子の集合を最適化して、ターゲット確率分布を$\pi\propto e^{-V}$, $\mathbb{R}^d$で近似するStein Variational Gradient Descent (SVGD)アルゴリズムについて検討する。 集団極限において、SVGD は KL の発散における確率分布の空間における勾配降下を$\pi$ に対して実行し、そこで勾配は核積分作用素を通して滑らかになる。 本稿では,SVGDアルゴリズムのための新しい有限時間解析法を提案する。 平均 stein fisher divergence (kernel stein discrepancy とも呼ばれる) に対する収束率と、各イテレーションの目的を減少させるアルゴリズムを定式化した降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果も, その集団バージョンに提供する。

関連論文リスト

• Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation [9.065034043031668]
  SVGD(Stein Variational Gradient Descent)は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートする一般的な変分推論である。 仮想粒子の概念を導入し、確率測度空間における集団限界ダイナミクスの新たな近似を開発する。 VP-SVGD と GB-SVGD によって出力される$n$パーティクルは、バッチサイズ$K$で$T$のステップで実行されるが、ターゲットに対する Kernel Stein Disrepancy が少なくとも $Oleft(tfrac) であるような分布からの i.i.d サンプルと同程度であることを示す。
  論文  参考訳（メタデータ） (2023-05-27T19:21:28Z)
• Towards Understanding the Dynamics of Gaussian-Stein Variational Gradient Descent [16.16051064618816]
  Stein Variational Gradient Descent (SVGD) は、非パラメトリック粒子に基づく決定論的サンプリングアルゴリズムである。 双線型カーネルを介してガウス分布の族に投影されるガウス-SVGDのダイナミクスについて検討する。 本稿では密度ベースおよび粒子ベースによるGaussian-SVGDの実装を提案し、GVIの最近のアルゴリズムは、異なる視点から提案され、我々の統合フレームワークの特別なケースとして現れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T13:55:47Z)
• Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
  収束過程における有限粒子の等方性特性について検討する。 すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。 提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
  論文  参考訳（メタデータ） (2023-05-18T01:13:04Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition [0.0]
  確率分布からサンプリングするLangevin型アルゴリズムの代用として,Stein Variational Gradient Descent (SVGD) が重要である。 既存のランゲヴィン型アルゴリズムとSVGDの理論では、ポテンシャル関数 $V$ はしばしば $L$-smooth と仮定される。
  論文  参考訳（メタデータ） (2022-06-01T14:08:35Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。