論文の概要: A Note on the Convergence of Mirrored Stein Variational Gradient Descent
under $(L_0,L_1)-$Smoothness Condition
- arxiv url: http://arxiv.org/abs/2206.09709v1
- Date: Mon, 20 Jun 2022 11:04:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-25 11:26:20.141114
- Title: A Note on the Convergence of Mirrored Stein Variational Gradient Descent
under $(L_0,L_1)-$Smoothness Condition
- Title(参考訳): l_0,l_1)-smoothness条件下でのミラー付きスタイン変分勾配降下の収束に関する一考察
- Authors: Lukang Sun, Peter Richt\'arik
- Abstract要約: 我々は、ミロレッドスタイン変分法(MSVGD)の集団限界に対する降下補題を確立する。
この降下補題はMSVGDの経路情報に頼るのではなく、ミラー分布 $nablaPsi_#piproptoexp(-V)$ に対する単純な仮定に依存する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this note, we establish a descent lemma for the population limit Mirrored
Stein Variational Gradient Method~(MSVGD). This descent lemma does not rely on
the path information of MSVGD but rather on a simple assumption for the
mirrored distribution $\nabla\Psi_{\#}\pi\propto\exp(-V)$. Our analysis
demonstrates that MSVGD can be applied to a broader class of constrained
sampling problems with non-smooth $V$. We also investigate the complexity of
the population limit MSVGD in terms of dimension $d$.
- Abstract(参考訳): 本稿では,Mirrored Stein Variational Gradient Method~(MSVGD)という,人口制限の降下補題を確立する。
この降下補題はMSVGDの経路情報に頼るのではなく、ミラー分布 $\nabla\Psi_{\#}\pi\propto\exp(-V)$ に対する単純な仮定に依存する。
解析により,MSVGDは非平滑な$V$でより広範な制約付きサンプリング問題に適用可能であることが示された。
また、人口制限msvgdの複雑さについても、次元$d$で検討する。
関連論文リスト
- Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳(メタデータ) (2024-05-10T09:58:47Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳(メタデータ) (2022-10-20T21:32:01Z) - Improved Stein Variational Gradient Descent with Importance Weights [0.0]
Stein Variational Gradient Descent (SVGD) は、機械学習タスクでよく使われるサンプリングアルゴリズムである。
本稿では,重み付けの導入によるSVGDの向上を提案し,$beta$-SVGDと命名する新たな手法を提案する。
論文 参考訳(メタデータ) (2022-10-02T08:42:44Z) - Convergence of Stein Variational Gradient Descent under a Weaker
Smoothness Condition [0.0]
確率分布からサンプリングするLangevin型アルゴリズムの代用として,Stein Variational Gradient Descent (SVGD) が重要である。
既存のランゲヴィン型アルゴリズムとSVGDの理論では、ポテンシャル関数 $V$ はしばしば $L$-smooth と仮定される。
論文 参考訳(メタデータ) (2022-06-01T14:08:35Z) - Grassmann Stein Variational Gradient Descent [3.644031721554146]
スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。
近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。
任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
論文 参考訳(メタデータ) (2022-02-07T15:36:03Z) - Complexity Analysis of Stein Variational Gradient Descent Under
Talagrand's Inequality T1 [12.848239550098697]
我々は、$pi(x) propto exp(-Fx)からサンプリングするアルゴリズムであるStein Variational Gradient Descent (SVGD)の複雑さについて検討する。
我々の重要な仮定は、対象分布が不等式の不等式 T1 を満たすことである。
論文 参考訳(メタデータ) (2021-06-06T09:51:32Z) - A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。
本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。
総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
論文 参考訳(メタデータ) (2021-02-09T02:44:24Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳(メタデータ) (2021-01-29T18:57:52Z) - A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。
アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。
また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
論文 参考訳(メタデータ) (2020-06-17T12:01:33Z) - A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。
我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。
我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
論文 参考訳(メタデータ) (2020-03-25T17:03:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。