論文の概要: Stability of Sequential and Parallel Coordinate Ascent Variational Inference
- arxiv url: http://arxiv.org/abs/2603.20929v1
- Date: Sat, 21 Mar 2026 20:09:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.155137
- Title: Stability of Sequential and Parallel Coordinate Ascent Variational Inference
- Title(参考訳): 逐次的および並列的アセント変分推論の安定性
- Authors: Debdeep Pati,
- Abstract要約: 逐次的アルゴリズムと並列アルゴリズムの2つの広く使われている座標アセント変分推論の挙動に顕著な違いを示す。
逐次アルゴリズムは、典型的には遅いが、並列変種よりもより緩和された条件下で収束保証を享受していることが示される。
- 参考スコア(独自算出の注目度): 2.0694868384638423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We highlight a striking difference in behavior between two widely used variants of coordinate ascent variational inference: the sequential and parallel algorithms. While such differences were known in the numerical analysis literature in simpler settings, they remain largely unexplored in the optimization-focused literature on variational inference in more complex models. Focusing on the moderately high-dimensional linear regression problem, we show that the sequential algorithm, although typically slower, enjoys convergence guarantees under more relaxed conditions than the parallel variant, which is often employed to facilitate block-wise updates and improve computational efficiency.
- Abstract(参考訳): 逐次的アルゴリズムと並列アルゴリズムの2つの広く使われている座標アセント変分推論の挙動の顕著な違いを強調した。
このような違いは、より単純な設定で数値解析文献で知られていたが、より複雑なモデルにおける変分推論に関する最適化に焦点を当てた文献では、ほとんど解明されていない。
中程度の高次元線形回帰問題に焦点をあてて、シーケンシャルアルゴリズムは典型的には遅いが、並列変種よりも緩和された条件下で収束保証を享受し、ブロックワイズ更新を容易にし、計算効率を向上させるためにしばしば使用される。
関連論文リスト
- Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。
CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
論文 参考訳(メタデータ) (2025-09-29T19:50:19Z) - Solving Linear Inverse Problems using Higher-Order Annealed Langevin
Diffusion [36.230439476675826]
本稿では,Langevin拡散に基づく線形逆問題に対する解を提案する。
両プレコンディショナブル力学はよく定義されており、非コンディショナブルな場合と同じ一意な不変分布を持つことを証明している。
論文 参考訳(メタデータ) (2023-05-08T19:35:22Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳(メタデータ) (2022-02-25T16:35:26Z) - Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution
Differential Equations [83.3201889218775]
広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。
しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。
いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
論文 参考訳(メタデータ) (2021-12-27T18:31:34Z) - Convergence Rates of Two-Time-Scale Gradient Descent-Ascent Dynamics for
Solving Nonconvex Min-Max Problems [2.0305676256390934]
連立勾配降下指数アルゴリズムの連続時間変動の有限時間特性を特徴付ける。
連続時間アルゴリズムの挙動に関する結果は、離散時間アルゴリズムの収束特性を高めるために用いられる。
論文 参考訳(メタデータ) (2021-12-17T15:51:04Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳(メタデータ) (2021-01-16T17:11:02Z) - Recursive Inference for Variational Autoencoders [34.552283758419506]
従来の変分オートエンコーダ(VAE)の推論ネットワークは典型的に償却される。
この欠点に対処するために、最近の半修正アプローチが提案されている。
精度の高い償却推論アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-11-17T10:22:12Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。