論文の概要: Geometric Convergence Analysis of Variational Inference via Bregman Divergences
- arxiv url: http://arxiv.org/abs/2510.15548v1
- Date: Fri, 17 Oct 2025 11:30:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-20 20:17:34.594122
- Title: Geometric Convergence Analysis of Variational Inference via Bregman Divergences
- Title（参考訳）: ブラグマンダイバージェンスによる変分推論の幾何学的収束解析
- Authors: Sushil Bohara, Amedeo Roberto Esposito,
- Abstract要約: Vari rigorous Inference (VI)は、Low Evidence (ELBO)による推論のためのスケーラブルなフレームワークを提供する
指数関数的家族分布を利用して客観収束を解析するための新たな理論的枠組みを確立する。
- 参考スコア（独自算出の注目度）: 3.7098038388802252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational Inference (VI) provides a scalable framework for Bayesian inference by optimizing the Evidence Lower Bound (ELBO), but convergence analysis remains challenging due to the objective's non-convexity and non-smoothness in Euclidean space. We establish a novel theoretical framework for analyzing VI convergence by exploiting the exponential family structure of distributions. We express negative ELBO as a Bregman divergence with respect to the log-partition function, enabling a geometric analysis of the optimization landscape. We show that this Bregman representation admits a weak monotonicity property that, while weaker than convexity, provides sufficient structure for rigorous convergence analysis. By deriving bounds on the objective function along rays in parameter space, we establish properties governed by the spectral characteristics of the Fisher information matrix. Under this geometric framework, we prove non-asymptotic convergence rates for gradient descent algorithms with both constant and diminishing step sizes.
- Abstract（参考訳）: 変分推論(VI)は、エビデンス下界(ELBO)を最適化することでベイズ推論のスケーラブルな枠組みを提供するが、ユークリッド空間における目的の非凸性と非滑らか性のため、収束解析は依然として困難である。
分布の指数的家族構造を利用してVI収束を解析するための新しい理論的枠組みを確立する。
対数分割関数に関して、負のELBOをブレグマン分岐として表現し、最適化景観の幾何学的解析を可能にする。
このブレグマン表現は、凸性よりも弱いが、厳密な収束解析に十分な構造を与える弱単調性を持つことを示す。
パラメータ空間の光線に沿った目的関数のバウンダリを導出することにより、フィッシャー情報行列のスペクトル特性に支配される特性を確立する。
この幾何学的枠組みの下では、勾配降下アルゴリズムの非漸近収束速度を、定数と減少するステップサイズの両方で証明する。
関連論文リスト
- Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale [33.38543010618118]
Zeroth-order (ZO) 最適化は、勾配ベースのバックプロパゲーション法に代わる有望な代替手段として登場した。
高次元性が主要なボトルネックであることを示し、サブスペースの摂動が勾配ノイズを減らし収束を加速させる方法について説明するために、テキストサブスペースアライメントの概念を導入する。
本稿では,ブロック座標降下法(MeZO-BCD)を用いた効率的なZO法を提案し,各ステップでパラメータのサブセットのみを摂動・更新する。
論文 参考訳（メタデータ） (2025-01-31T12:46:04Z) - On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning [1.5229257192293195]
実験的リスクから集団リスクへのサブディファレンシャルマッピングの一様収束を非平滑,非評価,決定論的最適化を用いて検討した。
これらの保証は、堅牢な統計と関連する応用に起因する問題の幾何学に関する新たな洞察を提供する。
論文 参考訳（メタデータ） (2024-05-16T17:49:46Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Convergence beyond the over-parameterized regime using Rayleigh
quotients [18.728779959566946]
我々は、レイリー商が、文献におけるいくつかの収束解析技術に対して統一的な視点を提供することを示す。
我々の戦略はパラメトリック学習の様々な例に対する収束の証明を生み出している。
論文 参考訳（メタデータ） (2023-01-19T15:18:23Z) - The Last-Iterate Convergence Rate of Optimistic Mirror Descent in
Stochastic Variational Inequalities [29.0058976973771]
本稿では,アルゴリズムの収束率とBregman関数によって誘導される局所幾何学との複雑な関係を示す。
この指数はアルゴリズムの最適ステップサイズポリシーと得られた最適レートの両方を決定する。
論文 参考訳（メタデータ） (2021-07-05T09:54:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。