論文の概要: SGD for Variational Inference: Tackling Unbounded Variance via Preconditioning and Dynamic Batching

• arxiv url: http://arxiv.org/abs/2605.07531v1
• Date: Fri, 08 May 2026 10:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.982441
• Title: SGD for Variational Inference: Tackling Unbounded Variance via Preconditioning and Dynamic Batching
• Title（参考訳）: 変分推論のためのSGD:プレコンディショニングと動的バッチによる非有界変量処理
• Authors: Hippolyte Labarrière, Cesare Molinari, Silvia Villa, Lorenzo Rosasco,
• Abstract要約: Black-Box Variational Inference (BBVI) は通常、下界 (ELBO) を最適化するためにグラディエント・ディフレッシュ (SGD) に依存している。 基礎最適化理論とBBVIの実践例とのギャップを埋める。
• 参考スコア（独自算出の注目度）: 8.6165142481624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Black-Box Variational Inference (BBVI) typically relies on Stochastic Gradient Descent (SGD) to optimize the Evidence Lower Bound (ELBO). However, the stochastic gradients in BBVI inherently exhibit unbounded variance, violating standard assumptions and instead satisfying the weaker Blum-Gladyshev (BG) condition, where variance grows quadratically with distance from the optimum. In this paper, we bridge the gap between stochastic optimization theory and the practical instances of BBVI. Focusing on the broad elliptic location-scale family of parameterized distributions, we offer two main contributions. First, we prove the existence of an ELBO solution, a foundational property usually assumed a priori in the literature. Second, we establish comprehensive convergence guarantees spanning finite-time and asymptotic regimes for Minibatch Projected SGD (PSGD) equipped with dynamic batching and preconditioning under the BG condition. Our theoretical framework demonstrates that dynamic batching combined with preconditioning systematically enables rigorous guarantees even in complex settings. We illustrate our theoretical findings with numerical results, highlighting the efficacy of our approach for modern inference tasks.
• Abstract（参考訳）: Black-Box Variational Inference (BBVI) は通常、Evidence Lower Bound (ELBO) を最適化するためにSGD (Stochastic Gradient Descent) に依存している。 しかし、BBVIの確率勾配は本質的に非有界な分散を示し、標準仮定に違反し、代わりにブラム・グラディシェフ(BG)条件を満たす。 本稿では,確率最適化理論とBBVIの実例とのギャップを埋める。 パラメータ化分布の広い楕円型位置スケールファミリーに着目し,2つの主な貢献を行う。 まず、ELBO解の存在を証明する。 第2に,BG条件下での動的バッチ処理とプレコンディショニングを備えたミニバッチ投影SGD (PSGD) に対して,有限時間および漸近状態にまたがる総合収束保証を確立する。 我々の理論的枠組みは, 動的バッチ処理とプレコンディショニングを併用することで, 複雑な設定であっても厳密な保証が可能であることを実証している。 本稿では,理論的な結果と数値的な結果について述べるとともに,現代の推論タスクに対する我々のアプローチの有効性を明らかにする。

関連論文リスト

• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Bridging the Gap Between Bayesian Deep Learning and Ensemble Weather Forecasts [100.26854618129039]
  天気予報は、大気のカオス的な性質によって根本的に挑戦されている。 ベイジアンディープラーニング(BDL)の最近の進歩は、有望だがしばしば非接続な代替手段を提供する。 気象予報のための統合型BDLフレームワークにより,これらのパラダイムを橋渡しする。
  論文  参考訳（メタデータ） (2025-11-18T07:49:52Z)
• Federated Generalised Variational Inference: A Robust Probabilistic Federated Learning Framework [12.454538785810259]
  FedGVIは確率的フェデレートラーニング(FL)フレームワークで、事前およびおそらく誤特定に対して堅牢である。 固定点収束、キャビティ分布の最適性、そして確率的不特定性に対する証明可能なロバスト性の観点から理論的解析を行う。
  論文  参考訳（メタデータ） (2025-02-02T16:39:37Z)
• Generalized Schrödinger Bridge Matching [54.171931505066]
  一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。 我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。 このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:42:11Z)
• On the Convergence of Black-Box Variational Inference [16.895490556279647]
  完全ブラックボックス変分推論(BBVI)の最初の収束保証を提供する。 以上の結果より, 対数平滑な後部密度と対数凹凸が強く, 位置スケールの変動が認められなかった。
  論文  参考訳（メタデータ） (2023-05-24T16:59:50Z)
• BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
  構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。 近年の進歩により、観測データからDAGの有効最大点推定が可能となった。 線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
  論文  参考訳（メタデータ） (2021-12-06T03:35:21Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。