論文の概要: Geometric Convergence Analysis of Variational Inference via Bregman Divergences

• arxiv url: http://arxiv.org/abs/2510.15548v1
• Date: Fri, 17 Oct 2025 11:30:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.594122
• Title: Geometric Convergence Analysis of Variational Inference via Bregman Divergences
• Title（参考訳）: ブラグマンダイバージェンスによる変分推論の幾何学的収束解析
• Authors: Sushil Bohara, Amedeo Roberto Esposito,
• Abstract要約: Vari rigorous Inference (VI)は、Low Evidence (ELBO)による推論のためのスケーラブルなフレームワークを提供する 指数関数的家族分布を利用して客観収束を解析するための新たな理論的枠組みを確立する。
• 参考スコア（独自算出の注目度）: 3.7098038388802252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Inference (VI) provides a scalable framework for Bayesian inference by optimizing the Evidence Lower Bound (ELBO), but convergence analysis remains challenging due to the objective's non-convexity and non-smoothness in Euclidean space. We establish a novel theoretical framework for analyzing VI convergence by exploiting the exponential family structure of distributions. We express negative ELBO as a Bregman divergence with respect to the log-partition function, enabling a geometric analysis of the optimization landscape. We show that this Bregman representation admits a weak monotonicity property that, while weaker than convexity, provides sufficient structure for rigorous convergence analysis. By deriving bounds on the objective function along rays in parameter space, we establish properties governed by the spectral characteristics of the Fisher information matrix. Under this geometric framework, we prove non-asymptotic convergence rates for gradient descent algorithms with both constant and diminishing step sizes.
• Abstract（参考訳）: 変分推論(VI)は、エビデンス下界(ELBO)を最適化することでベイズ推論のスケーラブルな枠組みを提供するが、ユークリッド空間における目的の非凸性と非滑らか性のため、収束解析は依然として困難である。 分布の指数的家族構造を利用してVI収束を解析するための新しい理論的枠組みを確立する。 対数分割関数に関して、負のELBOをブレグマン分岐として表現し、最適化景観の幾何学的解析を可能にする。 このブレグマン表現は、凸性よりも弱いが、厳密な収束解析に十分な構造を与える弱単調性を持つことを示す。 パラメータ空間の光線に沿った目的関数のバウンダリを導出することにより、フィッシャー情報行列のスペクトル特性に支配される特性を確立する。 この幾何学的枠組みの下では、勾配降下アルゴリズムの非漸近収束速度を、定数と減少するステップサイズの両方で証明する。

関連論文リスト

• Algorithmic Stability in Infinite Dimensions: Characterizing Unconditional Convergence in Banach Spaces [0.0]
  無限次元空間における条件付き、非条件付き、絶対収束の区別は、計算アルゴリズムに基本的な意味を持つ。 非条件収束の7つの等価条件を統一する包括的特徴づけ定理を提案する。 我々の研究は、古典的機能解析を現代の計算手法で橋渡しし、秩序に依存しない、数値的に堅牢なプロセスのための厳密な基礎を提供する。
  論文  参考訳（メタデータ） (2026-01-13T12:51:58Z)
• Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale [33.38543010618118]
  Zeroth-order (ZO) 最適化は、勾配ベースのバックプロパゲーション法に代わる有望な代替手段として登場した。 高次元性が主要なボトルネックであることを示し、サブスペースの摂動が勾配ノイズを減らし収束を加速させる方法について説明するために、テキストサブスペースアライメントの概念を導入する。 本稿では,ブロック座標降下法(MeZO-BCD)を用いた効率的なZO法を提案し,各ステップでパラメータのサブセットのみを摂動・更新する。
  論文  参考訳（メタデータ） (2025-01-31T12:46:04Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning [1.5229257192293195]
  実験的リスクから集団リスクへのサブディファレンシャルマッピングの一様収束を非平滑,非評価,決定論的最適化を用いて検討した。 これらの保証は、堅牢な統計と関連する応用に起因する問題の幾何学に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-16T17:49:46Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Convergence beyond the over-parameterized regime using Rayleigh quotients [18.728779959566946]
  我々は、レイリー商が、文献におけるいくつかの収束解析技術に対して統一的な視点を提供することを示す。 我々の戦略はパラメトリック学習の様々な例に対する収束の証明を生み出している。
  論文  参考訳（メタデータ） (2023-01-19T15:18:23Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares [22.851500417035947]
  この写本は、制約最小二乗の文脈における射影勾配降下の解析のための統一的な枠組みを提示する。 本稿では,PGDの収束解析のレシピを提示し,このレシピを4つの基本的な問題に応用して実証する。
  論文  参考訳（メタデータ） (2021-12-22T09:49:51Z)
• The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities [29.0058976973771]
  本稿では,アルゴリズムの収束率とBregman関数によって誘導される局所幾何学との複雑な関係を示す。 この指数はアルゴリズムの最適ステップサイズポリシーと得られた最適レートの両方を決定する。
  論文  参考訳（メタデータ） (2021-07-05T09:54:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。