論文の概要: Practical and Matching Gradient Variance Bounds for Black-Box
Variational Bayesian Inference
- arxiv url: http://arxiv.org/abs/2303.10472v4
- Date: Sun, 4 Jun 2023 00:26:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 02:28:24.871557
- Title: Practical and Matching Gradient Variance Bounds for Black-Box
Variational Bayesian Inference
- Title(参考訳): ブラックボックス変分ベイズ推定のための実用的・整合勾配分散境界
- Authors: Kyurae Kim, Kaiwen Wu, Jisu Oh, Jacob R. Gardner
- Abstract要約: BBVI は勾配降下文学で用いられる$ABC$条件に対応する整合性を満たすことを示す。
また,平均場パラメタライゼーションのばらつきは,次元依存性が良好であることを示す。
- 参考スコア(独自算出の注目度): 8.934639058735812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the gradient variance of black-box variational inference (BBVI)
is a crucial step for establishing its convergence and developing algorithmic
improvements. However, existing studies have yet to show that the gradient
variance of BBVI satisfies the conditions used to study the convergence of
stochastic gradient descent (SGD), the workhorse of BBVI. In this work, we show
that BBVI satisfies a matching bound corresponding to the $ABC$ condition used
in the SGD literature when applied to smooth and quadratically-growing
log-likelihoods. Our results generalize to nonlinear covariance
parameterizations widely used in the practice of BBVI. Furthermore, we show
that the variance of the mean-field parameterization has provably superior
dimensional dependence.
- Abstract(参考訳): black-box variational inference(bbvi)の勾配分散を理解することは、その収束を確立しアルゴリズムの改善を開発する上で重要なステップである。
しかし、既存の研究ではbbviの勾配分散がbbviのワークホースである確率勾配降下(sgd)の収束を研究するのに使われた条件を満たすことがわかっていない。
本研究では, BBVI が, SGD の文献で用いられる$ABC$条件に対応して, 滑らかで二次的に成長するログライクな条件に適合することを示す。
この結果はBBVIの実践で広く用いられている非線形共分散パラメータ化に一般化される。
さらに, 平均場パラメタライゼーションのばらつきは, 寸法依存性が良好であることを示す。
関連論文リスト
- Batch and match: black-box variational inference with a score-based
divergence [28.220604905700192]
バッチ・アンド・マッチ (BaM) は、スコアベースの発散に基づくブラックボックス変分推論のアプローチである。
BaM は ELBO に基づく BBVI の先行実装よりも勾配評価が小さい。
論文 参考訳(メタデータ) (2024-02-22T18:20:22Z) - Linear Convergence of Black-Box Variational Inference: Should We Stick
the Landing? [14.2377621491791]
ブラックボックス変分推論は、完全な変分族仕様の下で幾何学的(伝統的に「線形」と呼ばれる)速度で収束する。
また、正規閉形式エントロピー勾配推定器の既存解析を改善した。
論文 参考訳(メタデータ) (2023-07-27T06:32:43Z) - On the Convergence of Black-Box Variational Inference [16.895490556279647]
完全ブラックボックス変分推論(BBVI)の最初の収束保証を提供する。
以上の結果より, 対数平滑な後部密度と対数凹凸が強く, 位置スケールの変動が認められなかった。
論文 参考訳(メタデータ) (2023-05-24T16:59:50Z) - Exact Manifold Gaussian Variational Bayes [76.95091121622674]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を暗黙的に満足するガウス変分推論の効率的なアルゴリズムを開発する。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳(メタデータ) (2022-10-26T10:12:31Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳(メタデータ) (2022-05-23T18:54:27Z) - BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。
近年の進歩により、観測データからDAGの有効最大点推定が可能となった。
線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文 参考訳(メタデータ) (2021-12-06T03:35:21Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - Statistical Guarantees for Transformation Based Models with Applications
to Implicit Variational Inference [8.333191406788423]
非パラメトリック推論における非線形潜在変数モデル(NL-LVM)の使用に関する理論的正当性を提供する。
我々はNL-LVMを用いて、GP-IVIとみなす変分分布の暗黙の族を構築する。
私たちの知る限りでは、暗黙の変分推論の理論的保証を提供するための最初の研究である。
論文 参考訳(メタデータ) (2020-10-23T21:06:29Z) - Biased Stochastic Gradient Descent for Conditional Stochastic
Optimization [26.067067973796767]
条件最適化(CSO)はメタラーニングや因果推論から不変学習まで様々な応用をカバーしている。
本稿では,BSGDアルゴリズムを提案し,異なる構造条件下でのバイアス分散トレードオフについて検討する。
論文 参考訳(メタデータ) (2020-02-25T10:57:38Z) - GradientDICE: Rethinking Generalized Offline Estimation of Stationary
Values [75.17074235764757]
対象ポリシーの状態分布とサンプリング分布の密度比を推定するグラディエントDICEを提案する。
GenDICEはそのような密度比を推定するための最先端技術である。
論文 参考訳(メタデータ) (2020-01-29T22:10:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。