論文の概要: Batch, match, and patch: low-rank approximations for score-based variational inference

• arxiv url: http://arxiv.org/abs/2410.22292v1
• Date: Tue, 29 Oct 2024 17:42:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:40.289722
• Title: Batch, match, and patch: low-rank approximations for score-based variational inference
• Title（参考訳）: バッチ、マッチ、パッチ:スコアに基づく変動推定のための低ランク近似
• Authors: Chirag Modi, Diana Cai, Lawrence K. Saul,
• Abstract要約: ブラックボックス変分推論は高次元問題に対して不十分にスケールする。 スコアベースのBBVIのためのバッチ・アンド・マッチ・フレームワークを拡張した。 提案手法は,高次元推論における多種多様な合成対象分布と実世界の問題に対して評価する。
• 参考スコア（独自算出の注目度）: 8.840147522046651
• License:
• Abstract: Black-box variational inference (BBVI) scales poorly to high dimensional problems when it is used to estimate a multivariate Gaussian approximation with a full covariance matrix. In this paper, we extend the batch-and-match (BaM) framework for score-based BBVI to problems where it is prohibitively expensive to store such covariance matrices, let alone to estimate them. Unlike classical algorithms for BBVI, which use gradient descent to minimize the reverse Kullback-Leibler divergence, BaM uses more specialized updates to match the scores of the target density and its Gaussian approximation. We extend the updates for BaM by integrating them with a more compact parameterization of full covariance matrices. In particular, borrowing ideas from factor analysis, we add an extra step to each iteration of BaM -- a patch -- that projects each newly updated covariance matrix into a more efficiently parameterized family of diagonal plus low rank matrices. We evaluate this approach on a variety of synthetic target distributions and real-world problems in high-dimensional inference.
• Abstract（参考訳）: BBVI (Black-box variational Inference) は、多変量ガウス近似を全共分散行列で推定する際、高次元問題に対して低スケールでスケールする。 本稿では、スコアベースのBBVIのためのバッチ・アンド・マッチ(BaM)フレームワークを、そのような共分散行列を保存するのが違法に高価である問題にまで拡張する。 逆のクルバック・リーブラーの発散を最小限に抑えるために勾配降下を用いるBBVIの古典的アルゴリズムとは異なり、BaMは目標密度のスコアとガウス近似を一致させるためにより特殊な更新を用いる。 完全共分散行列のよりコンパクトなパラメータ化と統合することで、BaMの更新を拡張する。 特に、因子分析からアイデアを借りて、新しく更新された共分散行列をより効率的にパラメータ化された対角行列と低階行列の族に投影する、パッチであるBaMの各イテレーションに余分なステップを追加します。 提案手法は,高次元推論における多種多様な合成対象分布と実世界の問題に対して評価する。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Batch and match: black-box variational inference with a score-based divergence [26.873037094654826]
  スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。 ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
  論文  参考訳（メタデータ） (2024-02-22T18:20:22Z)
• Algorithme EM r\'egularis\'e [0.0]
  本稿では,より少ないサンプルサイズに対応するために,事前知識を効率的に活用するEMアルゴリズムの正規化バージョンを提案する。 実データを用いた実験では,クラスタリングのための提案アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-07-04T23:19:25Z)
• Low-complexity subspace-descent over symmetric positive definite manifold [9.346050098365648]
  対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。 提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
  論文  参考訳（メタデータ） (2023-05-03T11:11:46Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Splitting numerical integration for matrix completion [0.0]
  低階行列近似のための新しいアルゴリズムを提案する。 このアルゴリズムは最適化の枠組みにおける古典的な勾配勾配の適応である。 実験結果から,本手法は大規模問題に対して優れたスケーラビリティを有することが示された。
  論文  参考訳（メタデータ） (2022-02-14T04:45:20Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。