論文の概要: Variational Inference with Gaussian Score Matching

• arxiv url: http://arxiv.org/abs/2307.07849v1
• Date: Sat, 15 Jul 2023 16:57:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 17:27:29.132345
• Title: Variational Inference with Gaussian Score Matching
• Title（参考訳）: ガウススコアマッチングによる変分推論
• Authors: Chirag Modi, Charles Margossian, Yuling Yao, Robert Gower, David Blei and Lawrence Saul
• Abstract要約: 本稿では,スコアマッチングの原理に基づくVIに対する新しいアプローチを提案する。 我々は,変分近似と正確な後部とのスコアをマッチングする反復アルゴリズムであるスコアマッチングVIを開発する。 全ての研究で、GSM-VIはBBVIよりも速いが、精度を犠牲にしないことがわかった。
• 参考スコア（独自算出の注目度）: 1.2233362977312945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational inference (VI) is a method to approximate the computationally intractable posterior distributions that arise in Bayesian statistics. Typically, VI fits a simple parametric distribution to the target posterior by minimizing an appropriate objective such as the evidence lower bound (ELBO). In this work, we present a new approach to VI based on the principle of score matching, that if two distributions are equal then their score functions (i.e., gradients of the log density) are equal at every point on their support. With this, we develop score matching VI, an iterative algorithm that seeks to match the scores between the variational approximation and the exact posterior. At each iteration, score matching VI solves an inner optimization, one that minimally adjusts the current variational estimate to match the scores at a newly sampled value of the latent variables. We show that when the variational family is a Gaussian, this inner optimization enjoys a closed form solution, which we call Gaussian score matching VI (GSM-VI). GSM-VI is also a ``black box'' variational algorithm in that it only requires a differentiable joint distribution, and as such it can be applied to a wide class of models. We compare GSM-VI to black box variational inference (BBVI), which has similar requirements but instead optimizes the ELBO. We study how GSM-VI behaves as a function of the problem dimensionality, the condition number of the target covariance matrix (when the target is Gaussian), and the degree of mismatch between the approximating and exact posterior distribution. We also study GSM-VI on a collection of real-world Bayesian inference problems from the posteriorDB database of datasets and models. In all of our studies we find that GSM-VI is faster than BBVI, but without sacrificing accuracy. It requires 10-100x fewer gradient evaluations to obtain a comparable quality of approximation.
• Abstract（参考訳）: 変分推論 (vi) はベイズ統計学において計算に難解な後続分布を近似する手法である。 典型的には、VIはエビデンスローバウンド(ELBO)のような適切な目的を最小化することによって、単純なパラメトリック分布を対象の後方に適合させる。 本研究では,2つの分布が等しければ,そのスコア関数(すなわち,ログ密度の勾配)が支持点毎に等しくなるという,スコアマッチングの原理に基づくVIに対する新しいアプローチを提案する。 本研究では,変分近似と正確な後値とのスコアをマッチングする反復アルゴリズムである score matching vi を開発した。 各イテレーションでスコアマッチングviが内部最適化を解決し、現在の変動推定を最小に調整して、潜在変数の新しくサンプリングされた値のスコアにマッチさせる。 変分族がガウス群であるとき、この内部最適化は閉形式解を享受し、これをガウススコアマッチングvi (gsm-vi) と呼ぶ。 gsm-viはまた、微分可能なジョイント分布しか必要とせず、幅広い種類のモデルに適用できる「ブラックボックス」変分アルゴリズムでもある。 GSM-VI とブラックボックス変分推論 (BBVI) を比較する。 問題次元の関数としてgsm-viがどのように振る舞うか,対象共分散行列の条件数(対象がガウス的である場合),近似分布と正確な後方分布のミスマッチ度について検討した。 また,GSM-VIをデータセットとモデルの後部データベースから実世界のベイズ推定問題の集合として検討した。 全ての研究で、GSM-VIはBBVIよりも速いが、精度を犠牲にしないことがわかった。 近似のクオリティを得るためには10-100倍の勾配評価が必要となる。

関連論文リスト

• EigenVI: score-based variational inference with orthogonal function expansions [23.696028065251497]
  EigenVIはブラックボックス変分推論(BBVI)のための固有値に基づくアプローチである 我々はEigenVIを用いて様々なターゲット分布を近似し、例えば後方dbのベイズモデルのベンチマークスイートを含む。
  論文  参考訳（メタデータ） (2024-10-31T15:48:34Z)
• Batch, match, and patch: low-rank approximations for score-based variational inference [8.840147522046651]
  ブラックボックス変分推論は高次元問題に対して不十分にスケールする。 スコアベースのBBVIのためのバッチ・アンド・マッチ・フレームワークを拡張した。 提案手法は,高次元推論における多種多様な合成対象分布と実世界の問題に対して評価する。
  論文  参考訳（メタデータ） (2024-10-29T17:42:56Z)
• You Only Accept Samples Once: Fast, Self-Correcting Stochastic Variational Inference [0.0]
  YOASOVI(ヨアソビ)は、ベイズ系大規模モデルにおける変分推論(VI)の高速で自己補正的な直観最適化を行うアルゴリズムである。 これを実現するために、各イテレーションで VI に使用される目的関数について利用可能な情報を活用し、通常のモンテカルロサンプリングを受け入れサンプリングに置き換える。
  論文  参考訳（メタデータ） (2024-06-05T01:28:53Z)
• Batch and match: black-box variational inference with a score-based divergence [26.873037094654826]
  スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。 ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
  論文  参考訳（メタデータ） (2024-02-22T18:20:22Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
  SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。 厳密な手法により分類性能は向上するが、計算コストが高い。 本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
  論文  参考訳（メタデータ） (2022-09-11T22:44:19Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。