論文の概要: Massively Parallel Expectation Maximization For Approximate Posteriors

• arxiv url: http://arxiv.org/abs/2503.08264v1
• Date: Tue, 11 Mar 2025 10:28:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:45:48.876196
• Title: Massively Parallel Expectation Maximization For Approximate Posteriors
• Title（参考訳）: 近位後肢に対する巨視的並列期待最大化
• Authors: Thomas Heap, Sam Bowyer, Laurence Aitchison,
• Abstract要約: 我々は、QEMがRWSおよびVIの最先端かつ大規模並列な変種よりも高速であることを示す。 我々は、QEMがRWSおよびVIの最先端かつ大規模並列な変種よりも高速であることを示す。
• 参考スコア（独自算出の注目度）: 23.09717258810923
• License:
• Abstract: Bayesian inference for hierarchical models can be very challenging. MCMC methods have difficulty scaling to large models with many observations and latent variables. While variational inference (VI) and reweighted wake-sleep (RWS) can be more scalable, they are gradient-based methods and so often require many iterations to converge. Our key insight was that modern massively parallel importance weighting methods (Bowyer et al., 2024) give fast and accurate posterior moment estimates, and we can use these moment estimates to rapidly learn an approximate posterior. Specifically, we propose using expectation maximization to fit the approximate posterior, which we call QEM. The expectation step involves computing the posterior moments using high-quality massively parallel estimates from Bowyer et al. (2024). The maximization step involves fitting the approximate posterior using these moments, which can be done straightforwardly for simple approximate posteriors such as Gaussian, Gamma, Beta, Dirichlet, Binomial, Multinomial, Categorical, etc. (or combinations thereof). We show that QEM is faster than state-of-the-art, massively parallel variants of RWS and VI, and is invariant to reparameterizations of the model that dramatically slow down gradient based methods.
• Abstract（参考訳）: 階層モデルに対するベイズ的推論は非常に難しい。 MCMC法は、多くの観測値と潜伏変数を持つ大規模モデルへのスケーリングが困難である。 変分推論(VI)と再重み付きウェイクスリープ(RWS)はよりスケーラブルであるが、勾配に基づく手法であるため、収束するのに多くのイテレーションを必要とすることが多い。 我々の重要な洞察は、現代の超並列重み付け法(Bowyer et al , 2024)が高速かつ正確な後モーメント推定を与え、これらのモーメント推定を用いて近似後モーメントを高速に学習できるということである。 具体的には、QEMと呼ばれる近似後部を適合させるために予測最大化法を提案する。 期待ステップは、Boyer et al (2024) の高品質な大規模並列推定を用いて後部モーメントを計算することである。 最大化ステップは、これらのモーメントを用いて近似的な後部を適合させることで、ガウス、ガンマ、ベータ、ディリクレ、ビノミアル、マルチノミアル、カテゴリー等(またはそれらの組み合わせ)のような単純な近似的な後部に対して直接的に行うことができる。 我々はQEMが最先端のRWSとVIの大規模並列な変種よりも高速であることを示し、勾配法を劇的に遅くするモデルのパラメータ化に不変であることを示した。

関連論文リスト

• Posterior Approximation using Stochastic Gradient Ascent with Adaptive Stepsize [24.464140786923476]
  後続近似により、ディリクレプロセスの混合のような非パラメトリックは、分数的なコストでより大きなデータセットにスケールアップできる。 勾配上昇は機械学習の現代的なアプローチであり、ディープニューラルネットワークのトレーニングに広く利用されている。 本研究では,ディリクレプロセス混合物の後部近似のための高速アルゴリズムとして勾配上昇法について検討する。
  論文  参考訳（メタデータ） (2024-12-12T05:33:23Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Variational Inference for Neyman-Scott Processes [1.4467794332678536]
  Neyman-Scottプロセス(NSP)は、クラスタ階層のモデルポイントや時間イベントに、さまざまな分野に適用されている。 NSPに対する第1変分推論 (VI) アルゴリズムを開発し、適切な変分後点過程分布の2つの例を示す。
  論文  参考訳（メタデータ） (2023-03-07T07:32:10Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Modeling Randomly Walking Volatility with Chained Gamma Distributions [2.9574584850687042]
  正規ガンマとガンマ-ガンマの共役関係を利用する動的ベイズネットワークを構築する。 ダミーガンマノードを挿入した後、モデルによって表現されるボラティリティが独立した漸進過程であることを保証する。
  論文  参考訳（メタデータ） (2022-07-04T00:44:30Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• Model-based multi-parameter mapping [0.0]
  定量的MRイメージングは、よりリッチな情報の内容と標準化された測定基準のためにますます好まれている。 推定はしばしば、異なる量のデータを分離して解くために、データのノイズサブセットを仮定する。 代わりに、生成モデルは定式化され、パラメータ推定を共同で回復するために反転することができる。
  論文  参考訳（メタデータ） (2021-02-02T17:00:11Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。