論文の概要: On the Convergence of Coordinate Ascent Variational Inference
- arxiv url: http://arxiv.org/abs/2306.01122v1
- Date: Thu, 1 Jun 2023 20:19:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 17:50:24.857438
- Title: On the Convergence of Coordinate Ascent Variational Inference
- Title（参考訳）: 座標上昇変分推論の収束について
- Authors: Anirban Bhattacharya, Debdeep Pati, Yun Yang
- Abstract要約: 平均場 (MF) VI を実装するための共通座標アセント変分推論 (CAVI) アルゴリズムについて検討する。
我々はCAVIの大域的あるいは局所的な指数収束を証明するための一般的な条件を提供する。
目的関数に影響を及ぼす構成ブロック間の相互作用を特徴付けるための一般化相関の新しい概念を紹介する。
- 参考スコア（独自算出の注目度）: 11.166959724276337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a computational alternative to Markov chain Monte Carlo approaches,
variational inference (VI) is becoming more and more popular for approximating
intractable posterior distributions in large-scale Bayesian models due to its
comparable efficacy and superior efficiency. Several recent works provide
theoretical justifications of VI by proving its statistical optimality for
parameter estimation under various settings; meanwhile, formal analysis on the
algorithmic convergence aspects of VI is still largely lacking. In this paper,
we consider the common coordinate ascent variational inference (CAVI) algorithm
for implementing the mean-field (MF) VI towards optimizing a Kullback--Leibler
divergence objective functional over the space of all factorized distributions.
Focusing on the two-block case, we analyze the convergence of CAVI by
leveraging the extensive toolbox from functional analysis and optimization. We
provide general conditions for certifying global or local exponential
convergence of CAVI. Specifically, a new notion of generalized correlation for
characterizing the interaction between the constituting blocks in influencing
the VI objective functional is introduced, which according to the theory,
quantifies the algorithmic contraction rate of two-block CAVI. As
illustrations, we apply the developed theory to a number of examples, and
derive explicit problem-dependent upper bounds on the algorithmic contraction
rate.
- Abstract（参考訳）: マルコフ連鎖モンテカルロの計算的な代替として、変分推論(vi)は、同等の有効性と優れた効率性のため、大規模ベイズモデルにおける難解な後続分布を近似するためにますます普及している。
近年のいくつかの研究は、パラメータ推定の統計的最適性を様々な条件下で証明することで、VIの理論的正当性を証明している。
本稿では, 平均場(MF) VI を係数分布の空間上でのKullback-Leibler分散目的関数の最適化に向けて実装するための共通座標アセント変分推論(CAVI)アルゴリズムについて検討する。
2ブロックの場合に着目し,機能解析と最適化から広範なツールボックスを活用することでCAVIの収束を分析する。
我々はCAVIの大域的あるいは局所的な指数収束を証明するための一般的な条件を提供する。
具体的には、vi目的汎関数に影響を与える構成ブロック間の相互作用を特徴付ける新しい一般化相関の概念を導入し、理論により2ブロックcaviのアルゴリズム的収縮率を定量化する。
具体例として,開発理論をいくつかの例に適用し,アルゴリズム的収縮率の明示的な問題依存上界を導出する。
関連論文リスト
- Bridging Multicalibration and Out-of-distribution Generalization Beyond Covariate Shift [44.708914058803224]
マルチキャリブレーションによるアウト・オブ・ディストリビューションの一般化のための新しいモデルに依存しない最適化フレームワークを構築した。
本稿では,マルチキャリブレーションとアウト・オブ・ディストリビューションの一般化を両立させるポストプロセッシングアルゴリズムMC-Pseudolabelを提案する。
論文 参考訳（メタデータ） (2024-06-02T08:11:35Z) - Variance-Reducing Couplings for Random Features: Perspectives from Optimal Transport [57.73648780299374]
ランダム機能(RF)は、機械学習におけるカーネルメソッドをスケールアップするための一般的なテクニックであり、正確なカーネル評価をモンテカルロ推定に置き換える。
我々は、理論的洞察と数値アルゴリズムを用いて最適な輸送の統一的な枠組みを用いて、ユークリッドおよび離散入力空間上で定義されたカーネルに対して、新しい高性能なRF結合を開発する。
パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文 参考訳（メタデータ） (2024-05-26T12:25:09Z) - Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation [2.2656885622116394]
変分推論 (VI) は高次元ベイズモデルに対する近似推論の一般的な方法として登場した。
エントロピー正則化を通したナイーブ平均場を拡張する新しいVI法を提案する。
我々は,$Xi$-variational rearsが真の後縁依存性を効果的に回復することを示した。
論文 参考訳（メタデータ） (2024-04-14T01:40:11Z) - Statistical Inference of Optimal Allocations I: Regularities and their Implications [3.904240476752459]
まず、ソート作用素の一般性質の詳細な解析を通して、値関数のアダマール微分可能性(英語版)を導出する。
アダマール微分可能性の結果に基づいて、関数デルタ法を用いて値関数プロセスの特性を直接導出する方法を実証する。
論文 参考訳（メタデータ） (2024-03-27T04:39:13Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - The Last-Iterate Convergence Rate of Optimistic Mirror Descent in
Stochastic Variational Inequalities [29.0058976973771]
本稿では,アルゴリズムの収束率とBregman関数によって誘導される局所幾何学との複雑な関係を示す。
この指数はアルゴリズムの最適ステップサイズポリシーと得られた最適レートの両方を決定する。
論文 参考訳（メタデータ） (2021-07-05T09:54:47Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳（メタデータ） (2021-06-09T12:13:51Z) - Statistical optimality and stability of tangent transform algorithms in
logit models [6.9827388859232045]
我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。
特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。
我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
論文 参考訳（メタデータ） (2020-10-25T05:15:13Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Meta-Learning Divergences of Variational Inference [49.164944557174294]
変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。
本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。
提案手法はガウス混合分布近似の標準VIより優れていることを示す。
論文 参考訳（メタデータ） (2020-07-06T17:43:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。