論文の概要: Convergence of coordinate ascent variational inference for log-concave measures via optimal transport
- arxiv url: http://arxiv.org/abs/2404.08792v1
- Date: Fri, 12 Apr 2024 19:43:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 18:42:32.684504
- Title: Convergence of coordinate ascent variational inference for log-concave measures via optimal transport
- Title（参考訳）: 最適輸送による対数凹度測定における座標濃度変動推定の収束性
- Authors: Manuel Arnese, Daniel Lacker,
- Abstract要約: 平均場推論 (VI) は、最も近い積(分解された)測度を求める問題である。
良く知られたアセンセント変分推論(CAVI)は、この近似測度を1つの座標上の変分によって求めるものである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mean field variational inference (VI) is the problem of finding the closest product (factorized) measure, in the sense of relative entropy, to a given high-dimensional probability measure $\rho$. The well known Coordinate Ascent Variational Inference (CAVI) algorithm aims to approximate this product measure by iteratively optimizing over one coordinate (factor) at a time, which can be done explicitly. Despite its popularity, the convergence of CAVI remains poorly understood. In this paper, we prove the convergence of CAVI for log-concave densities $\rho$. If additionally $\log \rho$ has Lipschitz gradient, we find a linear rate of convergence, and if also $\rho$ is strongly log-concave, we find an exponential rate. Our analysis starts from the observation that mean field VI, while notoriously non-convex in the usual sense, is in fact displacement convex in the sense of optimal transport when $\rho$ is log-concave. This allows us to adapt techniques from the optimization literature on coordinate descent algorithms in Euclidean space.
- Abstract（参考訳）: 平均場変分推論 (VI) は、相対エントロピーという意味で、与えられた高次元確率測度$\rho$に最も近い積(分解された)測度を求める問題である。
CAVI (Coordinate Ascent Variational Inference) アルゴリズムは、1度に1つの座標(因子)を反復的に最適化することでこの積測度を近似することを目的としており、これは明示的に行うことができる。
その人気にもかかわらず、CAVIの収束はいまだに理解されていない。
本稿では、対数凹凸密度$\rho$に対するCAVIの収束性を証明する。
さらに、$\log \rho$ がリプシッツ勾配を持つなら、収束の線型性を見つけ、さらに$\rho$ が強い対数展開であるなら指数率を求める。
我々の分析は、平均体 VI が、通常の意味では非凸であるが、実際には、$\rho$ が対数凸であるときに、最適な輸送という意味での変位凸である、という観察から始まった。
これにより、ユークリッド空間における座標降下アルゴリズムの最適化文献からの手法の適用が可能となる。
関連論文リスト
- Distributed Optimization via Energy Conservation Laws in Dilated Coordinates [5.35599092568615]
本稿では,拡張座標における連続時間力学系の解析のためのエネルギー保存手法を提案する。
収束率を逆時間差係数で明示的に表すことができる。
その高速化された収束挙動は、実用的、大規模問題に対する様々な最先端分散最適化アルゴリズムに対してベンチマークされる。
論文 参考訳（メタデータ） (2024-09-28T08:02:43Z) - Convergence rate of random scan Coordinate Ascent Variational Inference under log-concavity [0.18416014644193066]
Coordinate Ascent Variational Inference schemeは、関心の確率分布の平均場近似を計算するために使われる一般的なアルゴリズムである。
対象密度の対数共共振仮定に基づいてランダムスキャンバージョンを解析する。
論文 参考訳（メタデータ） (2024-06-11T14:23:01Z) - Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation [2.2656885622116394]
変分推論 (VI) は高次元ベイズモデルに対する近似推論の一般的な方法として登場した。
エントロピー正則化を通したナイーブ平均場を拡張する新しいVI法を提案する。
我々は,$Xi$-variational rearsが真の後縁依存性を効果的に回復することを示した。
論文 参考訳（メタデータ） (2024-04-14T01:40:11Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Convergence of First-Order Methods for Constrained Nonconvex
Optimization with Dependent Data [7.513100214864646]
収束$tildeO(t-1/4)$とMoreautildeO(vareps-4)$がスムーズな非最適化のために最悪の場合の複雑性を示す。
適応的なステップサイズと最適収束度を持つ投影勾配法に基づく従属データに対する最初のオンライン非負行列分解アルゴリズムを得る。
論文 参考訳（メタデータ） (2022-03-29T17:59:10Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Proximal Gradient Descent-Ascent: Variable Convergence under K{\L}
Geometry [49.65455534654459]
有限降下指数パラメータ (GDA) はミニマックス最適化問題の解法として広く応用されている。
本稿では、KL-L型幾何学の収束を研究することにより、そのようなギャップを埋める。
論文 参考訳（メタデータ） (2021-02-09T05:35:53Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z) - Spectral density estimation with the Gaussian Integral Transform [91.3755431537592]
スペクトル密度作用素 $hatrho(omega)=delta(omega-hatH)$ は線形応答論において中心的な役割を果たす。
スペクトル密度を近似する近似量子アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2020-04-10T03:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。