論文の概要: Scalable Mean-Field Variational Inference via Preconditioned Primal-Dual Optimization

• arxiv url: http://arxiv.org/abs/2602.07632v2
• Date: Tue, 10 Feb 2026 05:36:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 15:31:43.020057
• Title: Scalable Mean-Field Variational Inference via Preconditioned Primal-Dual Optimization
• Title（参考訳）: 事前条件付きプリマル双対最適化によるスケーラブル平均場変分推論
• Authors: Jinhua Lyu, Tianmin Yu, Ying Ma, Naichen Shi,
• Abstract要約: 我々は、拡張ラグランジアン定式化に基づく新しい原始双対アルゴリズム(PD-VI)を開発した。 PD-VIは、グローバルおよび局所的な変動パラメータを、スケーラブルな方法で下限のエビデンスで共同で更新する。 PD-VIとP$2$D-VIのコンバージェンス保証を、適切に選択された一定のステップサイズで確立する。
• 参考スコア（独自算出の注目度）: 7.193011407502236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate the large-scale mean-field variational inference (MFVI) problem from a mini-batch primal-dual perspective. By reformulating MFVI as a constrained finite-sum problem, we develop a novel primal-dual algorithm based on an augmented Lagrangian formulation, termed primal-dual variational inference (PD-VI). PD-VI jointly updates global and local variational parameters in the evidence lower bound in a scalable manner. To further account for heterogeneous loss geometry across different variational parameter blocks, we introduce a block-preconditioned extension, P$^2$D-VI, which adapts the primal-dual updates to the geometry of each parameter block and improves both numerical robustness and practical efficiency. We establish convergence guarantees for both PD-VI and P$^2$D-VI under properly chosen constant step size, without relying on conjugacy assumptions or explicit bounded-variance conditions. In particular, we prove $O(1/T)$ convergence to a stationary point in general settings and linear convergence under strong convexity. Numerical experiments on synthetic data and a real large-scale spatial transcriptomics dataset demonstrate that our methods consistently outperform existing stochastic variational inference approaches in terms of convergence speed and solution quality.
• Abstract（参考訳）: 本研究では, 大規模平均場変動推定(MFVI)問題について, ミニバッチ法の観点から検討する。 MFVIを制約付き有限サム問題として再構成することにより、拡張ラグランジアン定式化に基づく新しい原始双対アルゴリズム(PD-VI)を開発した。 PD-VIは、グローバルおよび局所的な変動パラメータを、スケーラブルな方法で下限のエビデンスで共同で更新する。 変動パラメータブロック間の不均質な損失幾何学を更に説明するために,各パラメータブロックの幾何に2次更新を適用し,数値ロバスト性と実効性の両方を改善するブロックプレコンディショニング拡張 P$^2$D-VI を導入する。 PD-VI と P$^2$D-VI のコンバージェンス保証を、共役仮定や明示的有界分散条件に頼ることなく、適切に選択された一定のステップサイズで確立する。 特に、強い凸性の下での一般の設定や線型収束において、O(1/T)$収束を定常点に証明する。 合成データと実大規模空間転写学データセットの数値実験により,我々の手法は収束速度と解の質の観点から,既存の確率的変分推論手法を一貫して上回っていることが示された。

関連論文リスト

• Natural Gradient VI: Guarantees for Non-Conjugate Models [29.717497256432186]
  自然自然変分推論(NGVI)は確率モデルにおける後部分布を近似する手法として広く用いられている。 NGVI収束保証が非クリコンジューゲート設定にまで拡張されないことを示す。 我々は,非ユースを組み込んだNGVIアルゴリズムを提案し,その大域的非漸近収束を定常点に証明する。
  論文  参考訳（メタデータ） (2025-10-22T01:46:31Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation [3.1048285287226904]
  変分推論 (VI) は高次元ベイズモデルに対する近似推論の一般的な方法として登場した。 エントロピー正則化を通したナイーブ平均場を拡張する新しいVI法を提案する。 我々は,$Xi$-variational rearsが真の後縁依存性を効果的に回復することを示した。
  論文  参考訳（メタデータ） (2024-04-14T01:40:11Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Statistical Guarantees for Transformation Based Models with Applications to Implicit Variational Inference [8.333191406788423]
  非パラメトリック推論における非線形潜在変数モデル(NL-LVM)の使用に関する理論的正当性を提供する。 我々はNL-LVMを用いて、GP-IVIとみなす変分分布の暗黙の族を構築する。 私たちの知る限りでは、暗黙の変分推論の理論的保証を提供するための最初の研究である。
  論文  参考訳（メタデータ） (2020-10-23T21:06:29Z)
• Random extrapolation for primal-dual coordinate descent [61.55967255151027]
  本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。 一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
  論文  参考訳（メタデータ） (2020-07-13T17:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。