論文の概要: Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation

• arxiv url: http://arxiv.org/abs/2305.17558v3
• Date: Fri, 22 Sep 2023 15:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 18:43:22.665484
• Title: Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation
• Title（参考訳）: 仮想粒子の確率近似によるsvgdの高速有限粒子変種
• Authors: Aniket Das and Dheeraj Nagaraj
• Abstract要約: SVGD(Stein Variational Gradient Descent)は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートする一般的な変分推論である。 仮想粒子の概念を導入し、確率測度空間における集団限界ダイナミクスの新たな近似を開発する。 VP-SVGD と GB-SVGD によって出力される$n$パーティクルは、バッチサイズ$K$で$T$のステップで実行されるが、ターゲットに対する Kernel Stein Disrepancy が少なくとも $Oleft(tfrac) であるような分布からの i.i.d サンプルと同程度であることを示す。
• 参考スコア（独自算出の注目度）: 9.065034043031668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stein Variational Gradient Descent (SVGD) is a popular variational inference algorithm which simulates an interacting particle system to approximately sample from a target distribution, with impressive empirical performance across various domains. Theoretically, its population (i.e, infinite-particle) limit dynamics is well studied but the behavior of SVGD in the finite-particle regime is much less understood. In this work, we design two computationally efficient variants of SVGD, namely VP-SVGD and GB-SVGD, with provably fast finite-particle convergence rates. We introduce the notion of virtual particles and develop novel stochastic approximations of population-limit SVGD dynamics in the space of probability measures, which are exactly implementable using a finite number of particles. Our algorithms can be viewed as specific random-batch approximations of SVGD, which are computationally more efficient than ordinary SVGD. We show that the $n$ particles output by VP-SVGD and GB-SVGD, run for $T$ steps with batch-size $K$, are at-least as good as i.i.d samples from a distribution whose Kernel Stein Discrepancy to the target is at most $O\left(\tfrac{d^{1/3}}{(KT)^{1/6}}\right)$ under standard assumptions. Our results also hold under a mild growth condition on the potential function, which is much weaker than the isoperimetric (e.g. Poincare Inequality) or information-transport conditions (e.g. Talagrand's Inequality $\mathsf{T}_1$) generally considered in prior works. As a corollary, we consider the convergence of the empirical measure (of the particles output by VP-SVGD and GB-SVGD) to the target distribution and demonstrate a double exponential improvement over the best known finite-particle analysis of SVGD. Beyond this, our results present the first known oracle complexities for this setting with polynomial dimension dependence.
• Abstract（参考訳）: Stein Variational Gradient Descent (SVGD) は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートし、様々な領域にわたる印象的な経験的性能を持つ、一般的な変分推論アルゴリズムである。 理論的には、その個体群(すなわち無限粒子)の極限ダイナミクスはよく研究されているが、有限粒子状態におけるSVGDの挙動は理解されていない。 本研究では,計算効率の良い2種類のSVGD,すなわちVP-SVGDとGB-SVGDを,高速な有限粒子収束速度で設計する。 仮想粒子の概念を導入し、有限個の粒子を用いて正確に実装可能な確率測度の空間における人口制限svgdダイナミクスの新たな確率近似を考案する。 我々のアルゴリズムは、通常のSVGDよりも計算効率が高いSVGDの特定のランダムバッチ近似と見なすことができる。 VP-SVGD と GB-SVGD によって出力される$n$ 粒子は、バッチサイズ$K$ で$T$ のステップで実行され、標準仮定の下では最大$O\left(\tfrac{d^{1/3}}{(KT)^{1/6}}\right)$であるような分布から得られるサンプルと同等の値であることを示す。 また, ポテンシャル関数に対する温和な成長条件下では, イソペリメトリック(ポインケア不等式など)や情報伝達条件(例えば, タラグランの不等式$\mathsf{t}_1$)よりもかなり弱い。 本稿では,実験値(VP-SVGDとGB-SVGDによって出力される粒子)の目標分布への収束を考察し,最もよく知られたSVGDの有限粒子解析よりも2倍の指数関数的改善を示す。 さらに、この結果から多項式次元に依存するこの集合に対する最初の既知のオラクル複素量を示す。

関連論文リスト

• Long-time asymptotics of noisy SVGD outside the population limit [9.2081159465248]
  我々はStein Variational Gradient Descent (SVGD) の雑音変動の長時間挙動について検討した。 特に、ノイズSVGDは、SVGDで観測される分散崩壊を確実に回避する。 我々のアプローチは、ノイズの多いSVGDの軌道がマッケイン・ブラソフ過程によって記述された軌道とよく似ていることを示すものである。
  論文  参考訳（メタデータ） (2024-06-17T13:00:51Z)
• Analytic-Splatting: Anti-Aliased 3D Gaussian Splatting via Analytic Integration [49.004898985671815]
  3DGSはエイリアスフリーではなく、解像度の異なるレンダリングは、ひどくぼやけたり、ジャギーになったりする可能性がある。 これは、3DGSが各ピクセルを領域ではなく孤立した単一点として扱い、ピクセルのフットプリントの変化に敏感であるからである。 本稿では、この近似を2次元のピクセルシェーディングに導入し、2D-ピクセルウィンドウ領域内のガウス積分を解析的に近似するアナリシス・スプレイティングを提案する。
  論文  参考訳（メタデータ） (2024-03-17T02:06:03Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Towards Understanding the Dynamics of Gaussian-Stein Variational Gradient Descent [16.16051064618816]
  Stein Variational Gradient Descent (SVGD) は、非パラメトリック粒子に基づく決定論的サンプリングアルゴリズムである。 双線型カーネルを介してガウス分布の族に投影されるガウス-SVGDのダイナミクスについて検討する。 本稿では密度ベースおよび粒子ベースによるGaussian-SVGDの実装を提案し、GVIの最近のアルゴリズムは、異なる視点から提案され、我々の統合フレームワークの特別なケースとして現れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T13:55:47Z)
• Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
  収束過程における有限粒子の等方性特性について検討する。 すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。 提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
  論文  参考訳（メタデータ） (2023-05-18T01:13:04Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。