論文の概要: Nearly Dimension-Independent Convergence of Mean-Field Black-Box Variational Inference
- arxiv url: http://arxiv.org/abs/2505.21721v1
- Date: Tue, 27 May 2025 20:08:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 17:35:50.26493
- Title: Nearly Dimension-Independent Convergence of Mean-Field Black-Box Variational Inference
- Title（参考訳）: 平均場ブラックボックス変分推論のほぼ次元非依存収束
- Authors: Kyurae Kim, Yi-An Ma, Trevor Campbell, Jacob R. Gardner,
- Abstract要約: ブラックボックスの変分推論は、ほぼ次元に依存しない速度で収束する。
対象対数密度のHessianのスペクトル境界のみを用いて、勾配分散に対する我々の境界を改善できないことを証明した。
- 参考スコア（独自算出の注目度）: 22.339038971795873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove that, given a mean-field location-scale variational family, black-box variational inference (BBVI) with the reparametrization gradient converges at an almost dimension-independent rate. Specifically, for strongly log-concave and log-smooth targets, the number of iterations for BBVI with a sub-Gaussian family to achieve an objective $\epsilon$-close to the global optimum is $\mathrm{O}(\log d)$, which improves over the $\mathrm{O}(d)$ dependence of full-rank location-scale families. For heavy-tailed families, we provide a weaker $\mathrm{O}(d^{2/k})$ dimension dependence, where $k$ is the number of finite moments. Additionally, if the Hessian of the target log-density is constant, the complexity is free of any explicit dimension dependence. We also prove that our bound on the gradient variance, which is key to our result, cannot be improved using only spectral bounds on the Hessian of the target log-density.
- Abstract（参考訳）: 平均的な位置スケールの変動族が与えられた場合、再パラメータ化勾配を持つブラックボックス変分推論(BBVI)は、ほぼ次元に依存しない速度で収束することを示す。
具体的には、強い対数対数対数と対数対数対数対数に対して、BBVIが準ガウス族と目的の$\epsilon$-closeを大域最適に達成するためのイテレーションの回数は$\mathrm{O}(\log d)$であり、これはフルランクのロケーションスケールの族への依存性を$\mathrm{O}(\log d)$で改善する。
重い尾を持つ族に対しては、より弱い$\mathrm{O}(d^{2/k})$次元依存を与える。
さらに、対象の対数密度の Hessian が定数であれば、複雑性は任意の明示的な次元依存を伴わない。
また, 対象対数密度のヘシアンスペクトル境界のみを用いて, 勾配分散に対する境界を改善できないことも証明した。
関連論文リスト
- Convergence of Unadjusted Langevin in High Dimensions: Delocalization of Bias [13.642712817536072]
問題の次元が$d$になるにつれて、所望の誤差内で収束を保証するのに必要なイテレーションの数が増加することを示す。
私たちが取り組んだ重要な技術的課題は、収束を測定するための$W_2,ellinfty$メートル法に一段階の縮約性がないことである。
論文 参考訳（メタデータ） (2024-08-20T01:24:54Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Convergence and concentration properties of constant step-size SGD
through Markov chains [0.0]
定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。
緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。
全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
論文 参考訳（メタデータ） (2023-06-20T12:36:28Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Convergence of Gaussian-smoothed optimal transport distance with
sub-gamma distributions and dependent samples [12.77426855794452]
本稿では,より一般的な設定下でのGOT距離を推定するための収束保証を提供する。
我々の分析における重要なステップは、GOT距離がカーネルの最大誤差距離の族に支配されていることを示すことである。
論文 参考訳（メタデータ） (2021-02-28T04:30:23Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳（メタデータ） (2021-02-20T13:45:11Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。