論文の概要: Practical and Matching Gradient Variance Bounds for Black-Box Variational Bayesian Inference

• arxiv url: http://arxiv.org/abs/2303.10472v2
• Date: Wed, 24 May 2023 15:17:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 01:53:27.855078
• Title: Practical and Matching Gradient Variance Bounds for Black-Box Variational Bayesian Inference
• Title（参考訳）: ブラックボックス変分ベイズ推定のための実用的・整合勾配分散境界
• Authors: Kyurae Kim, Kaiwen Wu, Jisu Oh, Jacob R. Gardner
• Abstract要約: BBVI は勾配降下文学で用いられる$ABC$条件に対応する整合性を満たすことを示す。 また,平均場パラメタライゼーションのばらつきは,次元依存性が良好であることを示す。
• 参考スコア（独自算出の注目度）: 8.934639058735812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the gradient variance of black-box variational inference (BBVI) is a crucial step for establishing its convergence and developing algorithmic improvements. However, existing studies have yet to show that the gradient variance of BBVI satisfies the conditions used to study the convergence of stochastic gradient descent (SGD), the workhorse of BBVI. In this work, we show that BBVI satisfies a matching bound corresponding to the $ABC$ condition used in the SGD literature when applied to smooth and quadratically-growing log-likelihoods. Our results generalize to nonlinear covariance parameterizations widely used in the practice of BBVI. Furthermore, we show that the variance of the mean-field parameterization has provably superior dimensional dependence.
• Abstract（参考訳）: black-box variational inference(bbvi)の勾配分散を理解することは、その収束を確立しアルゴリズムの改善を開発する上で重要なステップである。 しかし、既存の研究ではbbviの勾配分散がbbviのワークホースである確率勾配降下(sgd)の収束を研究するのに使われた条件を満たすことがわかっていない。 本研究では, BBVI が, SGD の文献で用いられる$ABC$条件に対応して, 滑らかで二次的に成長するログライクな条件に適合することを示す。 この結果はBBVIの実践で広く用いられている非線形共分散パラメータ化に一般化される。 さらに, 平均場パラメタライゼーションのばらつきは, 寸法依存性が良好であることを示す。

関連論文リスト

• Batch and match: black-box variational inference with a score-based divergence [26.873037094654826]
  スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。 ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
  論文  参考訳（メタデータ） (2024-02-22T18:20:22Z)
• Linear Convergence of Black-Box Variational Inference: Should We Stick the Landing? [14.2377621491791]
  ブラックボックス変分推論は、完全な変分族仕様の下で幾何学的(伝統的に「線形」と呼ばれる)速度で収束する。 また、正規閉形式エントロピー勾配推定器の既存解析を改善した。
  論文  参考訳（メタデータ） (2023-07-27T06:32:43Z)
• On the Convergence of Black-Box Variational Inference [16.895490556279647]
  完全ブラックボックス変分推論(BBVI)の最初の収束保証を提供する。 以上の結果より, 対数平滑な後部密度と対数凹凸が強く, 位置スケールの変動が認められなかった。
  論文  参考訳（メタデータ） (2023-05-24T16:59:50Z)
• A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques as Second Order Information [0.0]
  本研究では,対象関数の曲率情報を組み込むことにより,勾配分散低減法(SVRG)の改良を検討する。 計算効率の良いBarzilai-Borwein(BB)法による勾配の分散をSVRGに組み込むことにより低減することを提案する。 線形収束定理は,提案手法だけでなく,2次情報を持つSVRGの既存変種に対しても有効である。
  論文  参考訳（メタデータ） (2022-08-23T16:38:40Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
  構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。 近年の進歩により、観測データからDAGの有効最大点推定が可能となった。 線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
  論文  参考訳（メタデータ） (2021-12-06T03:35:21Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Statistical Guarantees for Transformation Based Models with Applications to Implicit Variational Inference [8.333191406788423]
  非パラメトリック推論における非線形潜在変数モデル(NL-LVM)の使用に関する理論的正当性を提供する。 我々はNL-LVMを用いて、GP-IVIとみなす変分分布の暗黙の族を構築する。 私たちの知る限りでは、暗黙の変分推論の理論的保証を提供するための最初の研究である。
  論文  参考訳（メタデータ） (2020-10-23T21:06:29Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• GradientDICE: Rethinking Generalized Offline Estimation of Stationary Values [75.17074235764757]
  対象ポリシーの状態分布とサンプリング分布の密度比を推定するグラディエントDICEを提案する。 GenDICEはそのような密度比を推定するための最先端技術である。
  論文  参考訳（メタデータ） (2020-01-29T22:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。