論文の概要: Batch and match: black-box variational inference with a score-based divergence

• arxiv url: http://arxiv.org/abs/2402.14758v1
• Date: Thu, 22 Feb 2024 18:20:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 14:16:35.299082
• Title: Batch and match: black-box variational inference with a score-based divergence
• Title（参考訳）: バッチとマッチ:スコアに基づく発散を伴うブラックボックス変分推論
• Authors: Diana Cai, Chirag Modi, Loucas Pillaud-Vivien, Charles C. Margossian, Robert M. Gower, David M. Blei, Lawrence K. Saul
• Abstract要約: バッチ・アンド・マッチ (BaM) は、スコアベースの発散に基づくブラックボックス変分推論のアプローチである。 BaM は ELBO に基づく BBVI の先行実装よりも勾配評価が小さい。
• 参考スコア（独自算出の注目度）: 28.220604905700192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most leading implementations of black-box variational inference (BBVI) are based on optimizing a stochastic evidence lower bound (ELBO). But such approaches to BBVI often converge slowly due to the high variance of their gradient estimates. In this work, we propose batch and match (BaM), an alternative approach to BBVI based on a score-based divergence. Notably, this score-based divergence can be optimized by a closed-form proximal update for Gaussian variational families with full covariance matrices. We analyze the convergence of BaM when the target distribution is Gaussian, and we prove that in the limit of infinite batch size the variational parameter updates converge exponentially quickly to the target mean and covariance. We also evaluate the performance of BaM on Gaussian and non-Gaussian target distributions that arise from posterior inference in hierarchical and deep generative models. In these experiments, we find that BaM typically converges in fewer (and sometimes significantly fewer) gradient evaluations than leading implementations of BBVI based on ELBO maximization.
• Abstract（参考訳）: black-box variational inference (bbvi) のほとんどの主要な実装は、確率的証拠下限(elbo)の最適化に基づいている。 しかし, bbvi に対するアプローチは, 勾配推定値のばらつきが大きいため, 緩やかに収束することが多い。 本研究では,スコアに基づく分散に基づくBBVIの代替手法であるバッチ・アンド・マッチ(BaM)を提案する。 特に、このスコアに基づく発散は、完全な共分散行列を持つガウス変分族に対する閉形式近位更新によって最適化することができる。 ターゲット分布がガウス分布であるときのBaMの収束を解析し、無限バッチサイズの極限において、変動パラメータの更新はターゲット平均と共分散に指数関数的に収束することを示した。 また,階層的および深層生成モデルにおける後進推論から生じるガウス的および非ガウス的対象分布に対するbamの性能を評価する。 これらの実験では、一般にBaMはELBOの最大化に基づくBBVIの先行実装よりも、より少ない(時には著しく少ない)勾配評価で収束する。

関連論文リスト

• EigenVI: score-based variational inference with orthogonal function expansions [23.696028065251497]
  EigenVIはブラックボックス変分推論(BBVI)のための固有値に基づくアプローチである 我々はEigenVIを用いて様々なターゲット分布を近似し、例えば後方dbのベイズモデルのベンチマークスイートを含む。
  論文  参考訳（メタデータ） (2024-10-31T15:48:34Z)
• Batch, match, and patch: low-rank approximations for score-based variational inference [8.840147522046651]
  ブラックボックス変分推論は高次元問題に対して不十分にスケールする。 スコアベースのBBVIのためのバッチ・アンド・マッチ・フレームワークを拡張した。 提案手法は,高次元推論における多種多様な合成対象分布と実世界の問題に対して評価する。
  論文  参考訳（メタデータ） (2024-10-29T17:42:56Z)
• Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians [27.20127082606962]
  変分推論(VI)はベイズ推定において一般的なアプローチである。 この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
  論文  参考訳（メタデータ） (2024-06-06T12:38:59Z)
• Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
  ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。 数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-06-02T17:26:27Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• On the Convergence of Black-Box Variational Inference [16.895490556279647]
  完全ブラックボックス変分推論(BBVI)の最初の収束保証を提供する。 以上の結果より, 対数平滑な後部密度と対数凹凸が強く, 位置スケールの変動が認められなかった。
  論文  参考訳（メタデータ） (2023-05-24T16:59:50Z)
• Scalable Bayesian Transformed Gaussian Processes [10.33253403416662]
  ベイズ変換ガウシアン過程(BTG)モデルは、ワープされたガウシアン過程(WGP)と完全に相反するベイズ変換ガウシアン過程(BTG)モデルである。 本稿では,BTGを用いた計算の原理的,高速な手法を提案する。 我々のフレームワークは、高速モデル予測とモデル選択の両方を可能にするために、二重スパース二次規則、厳密な量子境界、ランク1行列代数を使用する。
  論文  参考訳（メタデータ） (2022-10-20T02:45:10Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。