論文の概要: Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models

• arxiv url: http://arxiv.org/abs/2306.03249v1
• Date: Mon, 5 Jun 2023 21:08:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 18:20:06.239895
• Title: Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models
• Title（参考訳）: 確率的解法:潜在ガウスモデルに対するスケーラブルで逆フリーな最大確率推定
• Authors: Alexander Lin, Bahareh Tolooshams, Yves Atchad\'e, Demba Ba
• Abstract要約: 我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
• 参考スコア（独自算出の注目度）: 69.22568644711113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent Gaussian models have a rich history in statistics and machine learning, with applications ranging from factor analysis to compressed sensing to time series analysis. The classical method for maximizing the likelihood of these models is the expectation-maximization (EM) algorithm. For problems with high-dimensional latent variables and large datasets, EM scales poorly because it needs to invert as many large covariance matrices as the number of data points. We introduce probabilistic unrolling, a method that combines Monte Carlo sampling with iterative linear solvers to circumvent matrix inversion. Our theoretical analyses reveal that unrolling and backpropagation through the iterations of the solver can accelerate gradient estimation for maximum likelihood estimation. In experiments on simulated and real data, we demonstrate that probabilistic unrolling learns latent Gaussian models up to an order of magnitude faster than gradient EM, with minimal losses in model performance.
• Abstract（参考訳）: 潜在ガウスモデルは統計学と機械学習の豊富な歴史を持ち、因子分析から圧縮センシング、時系列分析まで幅広い応用がある。 これらのモデルの可能性を最大化する古典的な方法は、期待最大化(EM)アルゴリズムである。 高次元の潜伏変数や大きなデータセットの問題に対して、EMはデータポイントの数と同じくらい大きな共分散行列を逆転する必要があるため、スケールが不十分である。 本稿では,モンテカルロサンプリングと反復線形解法を組み合わせて行列逆転を回避する確率的アンローリングを導入する。 理論的解析により,解法の反復によるロールングとバックプロパゲーションが最大確率推定のための勾配推定を高速化できることが判明した。 シミュレーションおよび実データを用いた実験において, 確率的解法が, モデル性能の損失を最小限に抑えつつ, 勾配emよりも最大1桁早く潜在ガウスモデルを学習できることを実証した。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• RMFGP: Rotated Multi-fidelity Gaussian process with Dimension Reduction for High-dimensional Uncertainty Quantification [12.826754199680474]
  マルチフィデリティモデリングは、少量の正確なデータしか入手できない場合でも、正確な推測を可能にする。 高忠実度モデルと1つ以上の低忠実度モデルを組み合わせることで、多忠実度法は興味のある量の正確な予測を行うことができる。 本稿では,回転多要素ガウス過程の回帰に基づく新しい次元削減フレームワークとベイズ能動学習手法を提案する。
  論文  参考訳（メタデータ） (2022-04-11T01:20:35Z)
• Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods [35.24886589614034]
  一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。 我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-17T21:43:50Z)
• Latent Gaussian Model Boosting [0.0]
  ツリーブースティングは多くのデータセットに対して優れた予測精度を示す。 シミュレーションおよび実世界のデータ実験において,既存の手法と比較して予測精度が向上した。
  論文  参考訳（メタデータ） (2021-05-19T07:36:30Z)
• Max-Linear Regression by Convex Programming [5.366354612549172]
  我々は、最大線形回帰問題の推定器として、アンカーレグレッション(AR)によって与えられるスケーラブルな凸プログラムを定式化し、解析する。 以上の結果から, 対数係数まで, 正確な回復スケールについて, 十分な数のノイズのない観測結果が得られた。
  論文  参考訳（メタデータ） (2021-03-12T00:55:54Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Maximum likelihood estimation and uncertainty quantification for Gaussian process approximation of deterministic functions [10.319367855067476]
  本稿は、ガウス過程の回帰の文脈において、ノイズのないデータセットを用いた最初の理論的分析の1つを提供する。 本稿では,スケールパラメータのみの最大推定がガウス過程モデルの不特定に対する顕著な適応をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-01-29T17:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。