論文の概要: Batch and match: black-box variational inference with a score-based divergence
- arxiv url: http://arxiv.org/abs/2402.14758v2
- Date: Wed, 12 Jun 2024 16:53:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 22:44:06.904029
- Title: Batch and match: black-box variational inference with a score-based divergence
- Title（参考訳）: バッチとマッチ:スコアに基づく発散を伴うブラックボックス変分推論
- Authors: Diana Cai, Chirag Modi, Loucas Pillaud-Vivien, Charles C. Margossian, Robert M. Gower, David M. Blei, Lawrence K. Saul,
- Abstract要約: スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。
ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
- 参考スコア（独自算出の注目度）: 26.873037094654826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most leading implementations of black-box variational inference (BBVI) are based on optimizing a stochastic evidence lower bound (ELBO). But such approaches to BBVI often converge slowly due to the high variance of their gradient estimates and their sensitivity to hyperparameters. In this work, we propose batch and match (BaM), an alternative approach to BBVI based on a score-based divergence. Notably, this score-based divergence can be optimized by a closed-form proximal update for Gaussian variational families with full covariance matrices. We analyze the convergence of BaM when the target distribution is Gaussian, and we prove that in the limit of infinite batch size the variational parameter updates converge exponentially quickly to the target mean and covariance. We also evaluate the performance of BaM on Gaussian and non-Gaussian target distributions that arise from posterior inference in hierarchical and deep generative models. In these experiments, we find that BaM typically converges in fewer (and sometimes significantly fewer) gradient evaluations than leading implementations of BBVI based on ELBO maximization.
- Abstract（参考訳）: ブラックボックス変分推論(BBVI)のほとんどの主要な実装は、確率的エビデンスローバウンド(ELBO)の最適化に基づいている。
しかし、BBVIへのそのようなアプローチは、勾配推定の高分散とハイパーパラメータに対する感度のために、しばしばゆっくりと収束する。
本研究では,スコアに基づく分散に基づくBBVIの代替手法であるバッチ・アンド・マッチ(BaM)を提案する。
特に、このスコアに基づく発散は、完全な共分散行列を持つガウス変分族に対する閉形式近位更新によって最適化することができる。
ターゲット分布がガウス分布であるときのBaMの収束を解析し、無限バッチサイズの極限において、変動パラメータの更新はターゲット平均と共分散に指数関数的に収束することを示した。
また,階層的および深部生成モデルにおける後方推論から生じるガウス的および非ガウス的対象分布に対するBaMの性能評価を行った。
これらの実験では、一般にBaMはELBOの最大化に基づくBBVIの先行実装よりも、より少ない(時には著しく少ない)勾配評価で収束する。
関連論文リスト
- Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians [27.20127082606962]
変分推論(VI)はベイズ推定において一般的なアプローチである。
この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
論文 参考訳（メタデータ） (2024-06-06T12:38:59Z) - Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。
数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-06-02T17:26:27Z) - Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文 参考訳（メタデータ） (2023-08-31T14:16:30Z) - On the Convergence of Black-Box Variational Inference [16.895490556279647]
完全ブラックボックス変分推論(BBVI)の最初の収束保証を提供する。
以上の結果より, 対数平滑な後部密度と対数凹凸が強く, 位置スケールの変動が認められなかった。
論文 参考訳（メタデータ） (2023-05-24T16:59:50Z) - Scalable Bayesian Transformed Gaussian Processes [10.33253403416662]
ベイズ変換ガウシアン過程(BTG)モデルは、ワープされたガウシアン過程(WGP)と完全に相反するベイズ変換ガウシアン過程(BTG)モデルである。
本稿では,BTGを用いた計算の原理的,高速な手法を提案する。
我々のフレームワークは、高速モデル予測とモデル選択の両方を可能にするために、二重スパース二次規則、厳密な量子境界、ランク1行列代数を使用する。
論文 参考訳（メタデータ） (2022-10-20T02:45:10Z) - Generalised Gaussian Process Latent Variable Models (GPLVM) with
Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。
このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。
我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文 参考訳（メタデータ） (2022-02-25T21:21:51Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。
本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。
本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
論文 参考訳（メタデータ） (2020-06-18T14:24:05Z) - Amortized variance reduction for doubly stochastic objectives [17.064916635597417]
複素確率モデルにおける近似推論は二重目的関数の最適化を必要とする。
現在のアプローチでは、ミニバッチがサンプリング性にどのように影響するかを考慮せず、結果として準最適分散が減少する。
本稿では,認識ネットワークを用いて各ミニバッチに対して最適な制御変数を安価に近似する手法を提案する。
論文 参考訳（メタデータ） (2020-03-09T13:23:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。