論文の概要: Convergence of projected stochastic natural gradient variational inference for various step size and sample or batch size schedules

• arxiv url: http://arxiv.org/abs/2604.00683v1
• Date: Wed, 01 Apr 2026 09:39:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.922865
• Title: Convergence of projected stochastic natural gradient variational inference for various step size and sample or batch size schedules
• Title（参考訳）: 各種ステップサイズおよびサンプル・バッチサイズスケジュールに対する確率的自然勾配変動推定の収束性
• Authors: Thomas Guilmeau, Hadrien Hendrikx, Florence Forbes,
• Abstract要約: 自然勾配変分推論(NGVI)はベイズ推論のアルゴリズムである。 ステップサイズが一定または減少する組合せに対して, 新たな非漸近収束結果が証明された。 我々は、ステップサイズとサンプル/バッチサイズのスケジュールの他のすべての組み合わせに対して、$mathcalOleft(frac1T right)$、おそらく$geq 1$という形で最適な値を確立する。
• 参考スコア（独自算出の注目度）: 9.465357419909038
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Stochastic natural gradient variational inference (NGVI) is a popular and efficient algorithm for Bayesian inference. Despite empirical success, the convergence of this method is still not fully understood. In this work, we define and study a projected stochastic NGVI when variational distributions form an exponential family. Stochasticity arises when either gradients are intractable expectations or large sums. We prove new non-asymptotic convergence results for combinations of constant or decreasing step sizes and constant or increasing sample/batch sizes. When all hyperparameters are fixed, NGVI is shown to converge geometrically to a neighborhood of the optimum, while we establish convergence to the optimum with rates of the form $\mathcal{O}\left(\frac{1}{T^ρ} \right)$, possibly with $ρ\geq 1$, for all other combinations of step size and sample/batch size schedules. These rates apply when the target posterior distribution is close in some sense to the considered exponential family. Our theoretical results extend existing NGVI and stochastic optimization results and provide more flexibility to adjust, in a principled way, step sizes and sample/batch sizes in order to meet speed, resources, or accuracy constraints.
• Abstract（参考訳）: 確率的自然勾配変動推論(NGVI)はベイズ推論のアルゴリズムとして人気があり、効率的である。 実証的な成功にもかかわらず、この方法の収束は未だ完全には理解されていない。 本研究では,変分分布が指数族を形成するときの予測確率NGVIを定義し,検討する。 確率性は、勾配が難解な期待または大きな和であるときに生じる。 本研究では, ステップサイズが一定あるいは減少し, サンプル/バッチサイズが増加する場合に, 新たな非漸近収束結果を示す。 すべてのハイパーパラメータが固定されたとき、NGVIは最適の近傍に幾何学的に収束することが示され、また、ステップサイズとサンプル/バッチサイズの他のすべての組み合わせに対して、$\mathcal{O}\left(\frac{1}{T^ρ} \right)$の形で最適への収束を確立する。 この値は、対象の後方分布がある意味で指数族に近接しているときに適用される。 我々の理論的結果は、既存のNGVIと確率的最適化結果を拡張し、速度、資源、精度の制約を満たすために、ステップサイズとサンプル/バッチサイズを原則的に調整する柔軟性を提供する。

関連論文リスト

• On the Role of Batch Size in Stochastic Conditional Gradient Methods [51.97510367368799]
  条件勾配法におけるバッチサイズの役割を,$-KL条件下で検討した。 バッチサイズの増加は、当初は最適化の精度を向上するが、重要なしきい値を超えると、固定トークン予算の下でのメリットと飽和度は、パフォーマンスを劣化させる可能性がある。
  論文  参考訳（メタデータ） (2026-03-22T12:23:41Z)
• Scalable Mean-Field Variational Inference via Preconditioned Primal-Dual Optimization [7.193011407502236]
  我々は、拡張ラグランジアン定式化に基づく新しい原始双対アルゴリズム(PD-VI)を開発した。 PD-VIは、グローバルおよび局所的な変動パラメータを、スケーラブルな方法で下限のエビデンスで共同で更新する。 PD-VIとP$2$D-VIのコンバージェンス保証を、適切に選択された一定のステップサイズで確立する。
  論文  参考訳（メタデータ） (2026-02-07T17:24:15Z)
• Understanding Stochastic Natural Gradient Variational Inference [12.800664845601197]
  グローバル収束率$mathcalO(frac1)$は暗黙的にNGVIの非漸近収束率を示す。 速度は降下(ブラックボックス変分推論)よりも悪くなく、一定の依存性がある。
  論文  参考訳（メタデータ） (2024-06-04T00:45:37Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Exponential Concentration in Stochastic Approximation [0.8192907805418583]
  我々は,各ステップで目標に向かって反復的に進行する近似アルゴリズムの挙動を解析する。 我々はマルコフ近似アルゴリズム、具体的には射影勾配 Descent, Kiefer-Wolfowitz および Frank-Wolfe アルゴリズムに適用する。
  論文  参考訳（メタデータ） (2022-08-15T14:57:26Z)
• Tuning Stochastic Gradient Algorithms for Statistical Inference via Large-Sample Asymptotics [18.93569692490218]
  勾配アルゴリズムのチューニングは、一般化可能な理論ではなく、試行錯誤に基づくことが多い。 固定ステップの大きい平均化は、チューニングパラメータの選択に対して堅牢であることを示す。 我々は他の勾配モンテカルロアルゴリズムの体系的解析の基礎を築いた。
  論文  参考訳（メタデータ） (2022-07-25T17:58:09Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。