論文の概要: Acceleration and its Limits in Gaussian Variational Inference

• arxiv url: http://arxiv.org/abs/2610.21020v1
• Date: Wed, 14 Oct 2026 23:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.104475
• Title: Acceleration and its Limits in Gaussian Variational Inference
• Title（参考訳）: ガウス変分推論における加速度とその限界
• Abstract要約: 運動量に基づく加速度は、強い凸な滑らかな目的に対して、勾配降下の条件数依存性を$$$から$sqrt$に改善するかどうかを検討する。 次に、どの追加構造が加速を許容し、正の例を与えるかを尋ねる。 実際のデータセットの実験では、幅広い手法にわたる加速からかなりの実験的なスピードアップが示される。
• 参考スコア（独自算出の注目度）: 6.992001715767493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study whether the classical momentum-based acceleration that improves the condition-number dependence of gradient descent from $κ$ to $\sqrtκ$ for strongly convex, smooth objectives extends to Gaussian variational inference (GVI) for strongly log-concave, log-smooth target distributions. With exact Gaussian expectations, a convex composite formulation of GVI yields the classical accelerated $\sqrtκ$ convergence rate. However, when only pointwise derivatives are available, we construct a family of strongly log-concave targets for which any randomized algorithm requires $κ^{1-o(1)}$ queries to achieve a fixed objective accuracy, even when the initial objective gap is bounded independently of $κ$. Thus curvature bounds alone cannot guarantee uniform accelerated total-query complexity. We then ask which additional structure permits acceleration and give positive examples: under a Hessian-Lipschitz assumption, variance-reduced stochastic methods yield accelerated guarantees when the Hessian variation is sufficiently small. Finally, experiments on real datasets show substantial empirical speedups from acceleration across a broad range of methods.
• Abstract（参考訳）: 我々は,強い凸に対して,勾配勾配の条件数依存性を$κ$から$\sqrtκ$に改善する古典運動量に基づく加速度が,強い対数、対数平滑な対象分布に対してガウス変分推論(GVI)にまで拡張されるかどうかを考察する。 正確なガウス予想により、GVIの凸合成式は古典的加速された$\sqrtκ$収束率をもたらす。 しかし、ポイントワイズ微分しか得られない場合、初期目的ギャップが$κ$と独立に有界である場合でも、任意のランダム化アルゴリズムが固定された目的精度を達成するために$κ^{1-o(1)}$クエリを必要とするような、強い対数のターゲットの族を構築する。 したがって、曲率境界だけでは、一様加速された全クエリ複雑性を保証できない。 ヘッセン・リプシッツの仮定の下で、分散還元確率法はヘッセン変分が十分小さいときに加速された保証を与える。 最後に、実際のデータセットに対する実験は、幅広い手法にわたる加速度によるかなりの実験的なスピードアップを示す。

関連論文リスト

• Estimation of Toeplitz Covariance Matrices using Overparameterized Gradient Descent [1.7188280334580195]
  単純降下レンズ(GD)によるToeplitz共分散推定の再検討 K = P$ のとき、GD は準最適解に収束する。 本稿では,振幅と周波数の学習率の異なる高速なGD変種を提案する。
  論文  参考訳（メタデータ） (2025-11-03T14:07:53Z)
• Faster Diffusion Models via Higher-Order Approximation [28.824924809206255]
  本稿では,d1+2/K varepsilon-1/K $$のスコア関数評価のみを必要とする,原則付き無トレーニングサンプリングアルゴリズムを提案する。 我々の理論はロバストなvis-a-vis不正確なスコア推定であり、スコア推定誤差が増加するにつれて優雅に劣化する。 より広範に、我々は高速サンプリングのための高次手法の有効性を理解するための理論的枠組みを開発した。
  論文  参考訳（メタデータ） (2025-06-30T16:49:03Z)
• Provable Acceleration for Diffusion Models under Minimal Assumptions [8.15094483029656]
  そこで本研究では,スコアベースサンプルの学習自由化手法を提案する。 最小限の仮定の下で、我々のスキームは$widetildeO(d5/4/sqrtvarepsilon)$で全変量を達成する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:06Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Accelerating Perturbed Stochastic Iterates in Asynchronous Lock-Free Optimization [47.03235286622727]
  我々は,従来の非加速法と同じ線形高速化条件を必要とすることを証明した。 我々の中心となるアルゴリズム発見は、スパース更新を伴う新しい加速SVRG変種である。
  論文  参考訳（メタデータ） (2021-09-30T17:36:32Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs [25.158203665218164]
  適応勾配法は有限時間後にランダムシャッフルSGDよりも高速であることを示す。 我々の知る限り、適応的勾配法は有限時間後にSGDよりも高速であることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-06-12T09:39:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。