論文の概要: Natural Gradient VI: Guarantees for Non-Conjugate Models

• arxiv url: http://arxiv.org/abs/2510.19163v1
• Date: Wed, 22 Oct 2025 01:46:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.921746
• Title: Natural Gradient VI: Guarantees for Non-Conjugate Models
• Title（参考訳）: 自然グラディエント VI:非共役モデルの保証
• Authors: Fangyuan Sun, Ilyas Fatkhullin, Niao He,
• Abstract要約: 自然自然変分推論(NGVI)は確率モデルにおける後部分布を近似する手法として広く用いられている。 NGVI収束保証が非クリコンジューゲート設定にまで拡張されないことを示す。 我々は,非ユースを組み込んだNGVIアルゴリズムを提案し,その大域的非漸近収束を定常点に証明する。
• 参考スコア（独自算出の注目度）: 29.717497256432186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic Natural Gradient Variational Inference (NGVI) is a widely used method for approximating posterior distribution in probabilistic models. Despite its empirical success and foundational role in variational inference, its theoretical underpinnings remain limited, particularly in the case of non-conjugate likelihoods. While NGVI has been shown to be a special instance of Stochastic Mirror Descent, and recent work has provided convergence guarantees using relative smoothness and strong convexity for conjugate models, these results do not extend to the non-conjugate setting, where the variational loss becomes non-convex and harder to analyze. In this work, we focus on mean-field parameterization and advance the theoretical understanding of NGVI in three key directions. First, we derive sufficient conditions under which the variational loss satisfies relative smoothness with respect to a suitable mirror map. Second, leveraging this structure, we propose a modified NGVI algorithm incorporating non-Euclidean projections and prove its global non-asymptotic convergence to a stationary point. Finally, under additional structural assumptions about the likelihood, we uncover hidden convexity properties of the variational loss and establish fast global convergence of NGVI to a global optimum. These results provide new insights into the geometry and convergence behavior of NGVI in challenging inference settings.
• Abstract（参考訳）: Stochastic Natural Gradient Variational Inference (NGVI) は確率的モデルにおける後部分布の近似法として広く用いられている。 経験的成功と変分推論における基礎的役割にもかかわらず、その理論的基盤は限定的であり、特に非共役確率の場合である。 NGVIはStochastic Mirror Descentの特殊な例であることが示されており、最近の研究は共役モデルに対する相対的滑らかさと強い凸性を用いた収束保証を提供してきたが、これらの結果は非共役設定にまで拡張されない。 本研究では,平均場パラメータ化に着目し,NGVIの理論的理解を3つの重要な方向に進める。 まず、変動損失が適切なミラーマップに対して相対的な滑らかさを満たす十分な条件を導出する。 次に,非ユークリッド射影を用いたNGVIアルゴリズムを提案し,その大域的非漸近収束を定常点に証明する。 最後に、この可能性に関するさらなる構造的仮定の下で、変分損失の隠れた凸性特性を発見し、NGVIの高速な大域的収束を大域的最適に確立する。 これらの結果から,NGVIの幾何および収束挙動に関する新たな知見が得られた。

関連論文リスト

• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Asymptotics of Non-Convex Generalized Linear Models in High-Dimensions: A proof of the replica formula [17.036996839737828]
  非次元ガウス正規化モデルの最適性を証明するために,アルゴリズムをどのように利用できるかを示す。 また, 負の正則化モデルの最適性を証明するために, テューキー損失を用いる方法を示す。
  論文  参考訳（メタデータ） (2025-02-27T11:29:43Z)
• Federated Generalised Variational Inference: A Robust Probabilistic Federated Learning Framework [12.454538785810259]
  FedGVIは確率的フェデレートラーニング(FL)フレームワークで、事前およびおそらく誤特定に対して堅牢である。 固定点収束、キャビティ分布の最適性、そして確率的不特定性に対する証明可能なロバスト性の観点から理論的解析を行う。
  論文  参考訳（メタデータ） (2025-02-02T16:39:37Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Statistical Guarantees for Transformation Based Models with Applications to Implicit Variational Inference [8.333191406788423]
  非パラメトリック推論における非線形潜在変数モデル(NL-LVM)の使用に関する理論的正当性を提供する。 我々はNL-LVMを用いて、GP-IVIとみなす変分分布の暗黙の族を構築する。 私たちの知る限りでは、暗黙の変分推論の理論的保証を提供するための最初の研究である。
  論文  参考訳（メタデータ） (2020-10-23T21:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。