論文の概要: Black-Box Variational Inference Converges

• arxiv url: http://arxiv.org/abs/2305.15349v1
• Date: Wed, 24 May 2023 16:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 14:00:50.609431
• Title: Black-Box Variational Inference Converges
• Title（参考訳）: ブラックボックス変分推論の収束
• Authors: Kyurae Kim, Kaiwen Wu, Jisu Oh, Yian Ma, Jacob R. Gardner
• Abstract要約: 完全ブラックボックス変分推論(BBVI)の最初の収束保証を提供する。 以上の結果より, 対数平滑な後部密度と対数凹凸が強く, 位置スケールの変動が認められなかった。
• 参考スコア（独自算出の注目度）: 13.80473878545219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide the first convergence guarantee for full black-box variational inference (BBVI), also known as Monte Carlo variational inference. While preliminary investigations worked on simplified versions of BBVI (e.g., bounded domain, bounded support, only optimizing for the scale, and such), our setup does not need any such algorithmic modifications. Our results hold for log-smooth posterior densities with and without strong log-concavity and the location-scale variational family. Also, our analysis reveals that certain algorithm design choices commonly employed in practice, particularly, nonlinear parameterizations of the scale of the variational approximation, can result in suboptimal convergence rates. Fortunately, running BBVI with proximal stochastic gradient descent fixes these limitations, and thus achieves the strongest known convergence rate guarantees. We evaluate this theoretical insight by comparing proximal SGD against other standard implementations of BBVI on large-scale Bayesian inference problems.
• Abstract（参考訳）: モンテカルロ変分推論(Monte Carlo variational inference)としても知られる完全なブラックボックス変分推論(BBVI)に対する最初の収束保証を提供する。 bbvi(bounded domain,bounded support,only optimize for the scale, such)の簡易バージョンに関する予備的な調査が実施されたが、私たちのセットアップにはそのようなアルゴリズムによる修正は必要ない。 本研究は, 強いログコンベビティと位置スケールのばらつきを有する後葉密度について検討した。 また,本分析の結果から,アルゴリズムの設計選択,特に変分近似のスケールの非線形パラメータ化は,最適下収束率をもたらすことが明らかとなった。 幸いなことに、近確率勾配勾配でBBVIを走らせるとこれらの制限が修正され、最も強い収束率保証が達成される。 ベイズ推論問題におけるBBVIの他の標準実装との比較により,この理論的知見を評価する。

関連論文リスト

• Batch and match: black-box variational inference with a score-based divergence [26.873037094654826]
  スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。 ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
  論文  参考訳（メタデータ） (2024-02-22T18:20:22Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Linear Convergence of Black-Box Variational Inference: Should We Stick the Landing? [14.2377621491791]
  ブラックボックス変分推論は、完全な変分族仕様の下で幾何学的(伝統的に「線形」と呼ばれる)速度で収束する。 また、正規閉形式エントロピー勾配推定器の既存解析を改善した。
  論文  参考訳（メタデータ） (2023-07-27T06:32:43Z)
• Provable convergence guarantees for black-box variational inference [19.421222110188605]
  ブラックボックスの変分推論は、最適化が成功する証拠がない状況で広く使われている。 我々は,現実的な推論問題に実際に用いられている手法と同様の手法が収束するという厳密な保証を提供する。
  論文  参考訳（メタデータ） (2023-06-04T11:31:41Z)
• Practical and Matching Gradient Variance Bounds for Black-Box Variational Bayesian Inference [8.934639058735812]
  BBVI は勾配降下文学で用いられる$ABC$条件に対応する整合性を満たすことを示す。 また,平均場パラメタライゼーションのばらつきは,次元依存性が良好であることを示す。
  論文  参考訳（メタデータ） (2023-03-18T19:07:14Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• GradientDICE: Rethinking Generalized Offline Estimation of Stationary Values [75.17074235764757]
  対象ポリシーの状態分布とサンプリング分布の密度比を推定するグラディエントDICEを提案する。 GenDICEはそのような密度比を推定するための最先端技術である。
  論文  参考訳（メタデータ） (2020-01-29T22:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。