論文の概要: Convergence rate of random scan Coordinate Ascent Variational Inference under log-concavity

• arxiv url: http://arxiv.org/abs/2406.07292v1
• Date: Tue, 11 Jun 2024 14:23:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 15:44:22.880965
• Title: Convergence rate of random scan Coordinate Ascent Variational Inference under log-concavity
• Title（参考訳）: 対数共振下におけるランダムスキャンの収束率
• Authors: Hugo Lavenant, Giacomo Zanella,
• Abstract要約: Coordinate Ascent Variational Inference schemeは、関心の確率分布の平均場近似を計算するために使われる一般的なアルゴリズムである。 対象密度の対数共共振仮定に基づいてランダムスキャンバージョンを解析する。
• 参考スコア（独自算出の注目度）: 0.18416014644193066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Coordinate Ascent Variational Inference scheme is a popular algorithm used to compute the mean-field approximation of a probability distribution of interest. We analyze its random scan version, under log-concavity assumptions on the target density. Our approach builds on the recent work of M. Arnese and D. Lacker, \emph{Convergence of coordinate ascent variational inference for log-concave measures via optimal transport} [arXiv:2404.08792] which studies the deterministic scan version of the algorithm, phrasing it as a block-coordinate descent algorithm in the space of probability distributions endowed with the geometry of optimal transport. We obtain tight rates for the random scan version, which imply that the total number of factor updates required to converge scales linearly with the condition number and the number of blocks of the target distribution. By contrast, available bounds for the deterministic scan case scale quadratically in the same quantities, which is analogue to what happens for optimization of convex functions in Euclidean spaces.
• Abstract（参考訳）: Coordinate Ascent Variational Inference schemeは、関心の確率分布の平均場近似を計算するために使われる一般的なアルゴリズムである。 対象密度の対数共共振仮定に基づいてランダムスキャンバージョンを解析する。 我々のアプローチは、アルゴリズムの決定論的スキャンバージョンを研究し、最適輸送の幾何学に基づく確率分布の空間におけるブロック座標降下アルゴリズムとして表現する[arXiv:2404.08792]による、最適輸送による対数凹凸測度に対する座標偏差の収束(英語版) [arXiv:2404.08792] の最近の研究に基づいている。 ランダムスキャン版では,対象分布の条件数とブロック数とを線形に収束させるために必要な因子更新の総数を求める。 対照的に、決定論的スキャンケースに対する有界な境界は、ユークリッド空間における凸関数の最適化に何が起こるかに類似している。

関連論文リスト

• Canonical Variates in Wasserstein Metric Space [16.668946904062032]
  We use the Wasserstein metric to measure distances between distributions, then used by distance-based classification algorithm。 我々の研究の中心は、分類精度を高めるために、ワッサーシュタイン計量空間内の次元の減少である。 本稿では,クラス間変動からクラス内変動への商として定義されたフィッシャー比を最大化する原理に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T17:59:21Z)
• Analytical Approximation of the ELBO Gradient in the Context of the Clutter Problem [0.0]
  変分推論問題におけるエビデンス下界(ELBO)の勾配を近似する解析解を提案する。 提案手法は線形計算複雑性とともに精度と収束率を示す。
  論文  参考訳（メタデータ） (2024-04-16T13:19:46Z)
• Convergence of coordinate ascent variational inference for log-concave measures via optimal transport [0.0]
  平均場推論 (VI) は、最も近い積(分解された)測度を求める問題である。 良く知られたアセンセント変分推論(CAVI)は、この近似測度を1つの座標上の変分によって求めるものである。
  論文  参考訳（メタデータ） (2024-04-12T19:43:54Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• Faster Wasserstein Distance Estimation with the Sinkhorn Divergence [0.0]
  正方形ワッサーシュタイン距離(英: squared Wasserstein distance)は、非パラメトリックな設定における確率分布を比較する量である。 そこで本研究では,シンクホーンの発散量を用いて推定する手法を提案する。 滑らかな密度に対して、この推定器はサンプルの複雑さに匹敵するが、より高い正規化レベルが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-15T06:58:16Z)
• Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
  オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。 本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。 ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
  論文  参考訳（メタデータ） (2020-06-11T19:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。