論文の概要: Complexity Analysis of Stein Variational Gradient Descent Under Talagrand's Inequality T1

• arxiv url: http://arxiv.org/abs/2106.03076v1
• Date: Sun, 6 Jun 2021 09:51:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:33:42.556697
• Title: Complexity Analysis of Stein Variational Gradient Descent Under Talagrand's Inequality T1
• Title（参考訳）: タラグランドの不等式T1の下での定常変分勾配の複雑度解析
• Authors: Adil Salim and Lukang Sun and Peter Richt\'arik
• Abstract要約: 我々は、$pi(x) propto exp(-Fx)からサンプリングするアルゴリズムであるStein Variational Gradient Descent (SVGD)の複雑さについて検討する。 我々の重要な仮定は、対象分布が不等式の不等式 T1 を満たすことである。
• 参考スコア（独自算出の注目度）: 12.848239550098697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the complexity of Stein Variational Gradient Descent (SVGD), which is an algorithm to sample from $\pi(x) \propto \exp(-F(x))$ where $F$ smooth and nonconvex. We provide a clean complexity bound for SVGD in the population limit in terms of the Stein Fisher Information (or squared Kernelized Stein Discrepancy), as a function of the dimension of the problem $d$ and the desired accuracy $\varepsilon$. Unlike existing work, we do not make any assumption on the trajectory of the algorithm. Instead, our key assumption is that the target distribution satisfies Talagrand's inequality T1.
• Abstract（参考訳）: 我々は,$\pi(x) \propto \exp(-f(x))$ where $f$ smooth および nonconvex からサンプルを得るためのアルゴリズムであるstein variational gradient descent (svgd) の複雑さについて検討する。 問題である$d$ の次元と所望の精度である$\varepsilon$ の関数として、stein fisher情報(または2乗核化steinの不一致)の観点から、svgd の人口制限におけるクリーンな複雑さを提供する。 既存の研究とは異なり、アルゴリズムの軌道については何も仮定しない。 代わりに、ターゲット分布がタラグランの不等式 t1 を満たすと仮定する。

関連論文リスト

• Improved Sample Complexity for Private Nonsmooth Nonconvex Optimization [28.497079108813924]
  本研究では,滑らかでも凸でもない実験対象に対して,DP最適化アルゴリズムについて検討する。 1/alphabeta3+d/epsilonalphabeta2+d3/4/epsilonalpha1/2beta3/2right)$を返却するシングルパス$(alpha,beta)$-DPアルゴリズムを提供する。 次に、サンプルの複雑さを$widetildeOmegaleft()に改善するマルチパス時間アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-10-08T10:15:49Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• A Note on the Convergence of Mirrored Stein Variational Gradient Descent under $(L_0,L_1)-$Smoothness Condition [0.0]
  我々は、ミロレッドスタイン変分法(MSVGD)の集団限界に対する降下補題を確立する。 この降下補題はMSVGDの経路情報に頼るのではなく、ミラー分布 $nablaPsi_#piproptoexp(-V)$ に対する単純な仮定に依存する。
  論文  参考訳（メタデータ） (2022-06-20T11:04:18Z)
• Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition [0.0]
  確率分布からサンプリングするLangevin型アルゴリズムの代用として,Stein Variational Gradient Descent (SVGD) が重要である。 既存のランゲヴィン型アルゴリズムとSVGDの理論では、ポテンシャル関数 $V$ はしばしば $L$-smooth と仮定される。
  論文  参考訳（メタデータ） (2022-06-01T14:08:35Z)
• A gradient estimator via L1-randomization for online zero-order optimization with two point feedback [93.57603470949266]
  2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。 ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。 我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-05-27T11:23:57Z)
• Complexity of zigzag sampling algorithm for strongly log-concave distributions [6.336005544376984]
  強いログ凹分布に対するジグザグサンプリングアルゴリズムの計算複雑性について検討する。 ジグザグサンプリングアルゴリズムは, 計算コストが$obiglに匹敵するchi-squareの発散において, $varepsilon$ 誤差を達成することを証明した。
  論文  参考訳（メタデータ） (2020-12-21T03:10:21Z)
• Hybrid Stochastic-Deterministic Minibatch Proximal Gradient: Less-Than-Single-Pass Optimization with Nearly Optimal Generalization [83.80460802169999]
  HSDMPGは、学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成可能であることを示す。 損失係数について、HSDMPGは学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成できることを示す。
  論文  参考訳（メタデータ） (2020-09-18T02:18:44Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
  我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。 我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。 我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
  論文  参考訳（メタデータ） (2020-03-25T17:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。