論文の概要: Towards Understanding the Dynamics of Gaussian-Stein Variational
Gradient Descent
- arxiv url: http://arxiv.org/abs/2305.14076v4
- Date: Sat, 28 Oct 2023 00:37:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 22:29:43.173933
- Title: Towards Understanding the Dynamics of Gaussian-Stein Variational
Gradient Descent
- Title(参考訳): ガウス・シュタイン変分勾配のダイナミクス理解に向けて
- Authors: Tianle Liu, Promit Ghosal, Krishnakumar Balasubramanian, Natesh S.
Pillai
- Abstract要約: Stein Variational Gradient Descent (SVGD) は、非パラメトリック粒子に基づく決定論的サンプリングアルゴリズムである。
双線型カーネルを介してガウス分布の族に投影されるガウス-SVGDのダイナミクスについて検討する。
本稿では密度ベースおよび粒子ベースによるGaussian-SVGDの実装を提案し、GVIの最近のアルゴリズムは、異なる視点から提案され、我々の統合フレームワークの特別なケースとして現れていることを示す。
- 参考スコア(独自算出の注目度): 16.16051064618816
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Stein Variational Gradient Descent (SVGD) is a nonparametric particle-based
deterministic sampling algorithm. Despite its wide usage, understanding the
theoretical properties of SVGD has remained a challenging problem. For sampling
from a Gaussian target, the SVGD dynamics with a bilinear kernel will remain
Gaussian as long as the initializer is Gaussian. Inspired by this fact, we
undertake a detailed theoretical study of the Gaussian-SVGD, i.e., SVGD
projected to the family of Gaussian distributions via the bilinear kernel, or
equivalently Gaussian variational inference (GVI) with SVGD. We present a
complete picture by considering both the mean-field PDE and discrete particle
systems. When the target is strongly log-concave, the mean-field Gaussian-SVGD
dynamics is proven to converge linearly to the Gaussian distribution closest to
the target in KL divergence. In the finite-particle setting, there is both
uniform in time convergence to the mean-field limit and linear convergence in
time to the equilibrium if the target is Gaussian. In the general case, we
propose a density-based and a particle-based implementation of the
Gaussian-SVGD, and show that several recent algorithms for GVI, proposed from
different perspectives, emerge as special cases of our unified framework.
Interestingly, one of the new particle-based instance from this framework
empirically outperforms existing approaches. Our results make concrete
contributions towards obtaining a deeper understanding of both SVGD and GVI.
- Abstract(参考訳): Stein Variational Gradient Descent (SVGD) は非パラメトリック粒子に基づく決定論的サンプリングアルゴリズムである。
広く使われているにもかかわらず、SVGDの理論的性質の理解は依然として難しい問題である。
ガウス的対象からサンプリングする場合、二線型核を持つsvgdダイナミクスは初期化子がガウス的であればガウス的となる。
この事実に触発された我々は、ガウス-SVGDの詳細な理論的研究、すなわち、双線型核を通してガウス分布の族に投影されるSVGD、またはそれに相当するガウス変分推論(GVI)をSVGDで行う。
平均場PDEと離散粒子系の両方を考慮した完全な図形を示す。
ターゲットが強い対数対数の場合、平均場ガウス-SVGDダイナミクスはKL分散においてターゲットに最も近いガウス分布に線形に収束することが証明される。
有限粒子設定では、平均場極限への時間収束と、目標がガウス的である場合の平衡への時間収束の両方がある。
一般の場合、密度ベースおよび粒子ベースによるガウス-SVGDの実装を提案し、GVIの最近のアルゴリズムが、異なる視点から提案され、我々の統一フレームワークの特別なケースとして現れていることを示す。
興味深いことに、このフレームワークの新しい粒子ベースのインスタンスの1つは、既存のアプローチを経験的に上回っている。
その結果,SVGDとGVIの双方の理解を深める上で,具体的な貢献が得られた。
関連論文リスト
- Accelerating Convergence of Stein Variational Gradient Descent via Deep
Unfolding [5.584060970507506]
スタイン変分勾配勾配(SVGD)は、ターゲット分布をサンプリングするために用いられる顕著な粒子ベースの変分勾配推定法である。
本稿では,深層展開(deep Openfolding)と呼ばれる深層学習手法をSVGDに組み込んだ,新しいトレーニング可能なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-23T06:24:57Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field
Rendering [116.99325082775387]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳(メタデータ) (2024-02-15T08:51:49Z) - GRAPE optimization for open quantum systems with time-dependent
decoherence rates driven by coherent and incoherent controls [77.34726150561087]
グラディエントアセンセントパルス工学(GRAPE)法は量子制御の最適化に広く用いられている。
我々は、コヒーレント制御と非コヒーレント制御の両方によって駆動されるオープン量子系の目的関数を最適化するために、GRAPE法を採用する。
状態-状態遷移問題に対する数値シミュレーションによりアルゴリズムの効率を実証する。
論文 参考訳(メタデータ) (2023-07-17T13:37:18Z) - Provably Fast Finite Particle Variants of SVGD via Virtual Particle
Stochastic Approximation [9.065034043031668]
SVGD(Stein Variational Gradient Descent)は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートする一般的な変分推論である。
仮想粒子の概念を導入し、確率測度空間における集団限界ダイナミクスの新たな近似を開発する。
VP-SVGD と GB-SVGD によって出力される$n$パーティクルは、バッチサイズ$K$で$T$のステップで実行されるが、ターゲットに対する Kernel Stein Disrepancy が少なくとも $Oleft(tfrac) であるような分布からの i.i.d サンプルと同程度であることを示す。
論文 参考訳(メタデータ) (2023-05-27T19:21:28Z) - Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
収束過程における有限粒子の等方性特性について検討する。
すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。
提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
論文 参考訳(メタデータ) (2023-05-18T01:13:04Z) - Detecting Rotated Objects as Gaussian Distributions and Its 3-D
Generalization [81.29406957201458]
既存の検出方法は、パラメータ化バウンディングボックス(BBox)を使用して(水平)オブジェクトをモデル化し、検出する。
このような機構は回転検出に有効な回帰損失を構築するのに基本的な限界があると主張する。
回転した物体をガウス分布としてモデル化することを提案する。
2次元から3次元へのアプローチを、方向推定を扱うアルゴリズム設計により拡張する。
論文 参考訳(メタデータ) (2022-09-22T07:50:48Z) - Kernel Stein Generative Modeling [68.03537693810972]
グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。
Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。
雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
論文 参考訳(メタデータ) (2020-07-06T21:26:04Z) - A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。
アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。
また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
論文 参考訳(メタデータ) (2020-06-17T12:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。