論文の概要: Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian
Process Models
- arxiv url: http://arxiv.org/abs/2310.12000v1
- Date: Wed, 18 Oct 2023 14:31:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 16:15:47.808579
- Title: Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian
Process Models
- Title(参考訳): 潜在ガウス過程モデルに対するVecchia-Laplace近似の反復法
- Authors: Pascal K\"undig, Fabio Sigrist
- Abstract要約: 本稿では,Vecchia-Laplace近似を用いたいくつかの反復的推論法を提案する。
We obtain a speed-up of a order of Cholesky based inference。
すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
- 参考スコア(独自算出の注目度): 13.162429430481982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent Gaussian process (GP) models are flexible probabilistic non-parametric
function models. Vecchia approximations are accurate approximations for GPs to
overcome computational bottlenecks for large data, and the Laplace
approximation is a fast method with asymptotic convergence guarantees to
approximate marginal likelihoods and posterior predictive distributions for
non-Gaussian likelihoods. Unfortunately, the computational complexity of
combined Vecchia-Laplace approximations grows faster than linearly in the
sample size when used in combination with direct solver methods such as the
Cholesky decomposition. Computations with Vecchia-Laplace approximations thus
become prohibitively slow precisely when the approximations are usually the
most accurate, i.e., on large data sets. In this article, we present several
iterative methods for inference with Vecchia-Laplace approximations which make
computations considerably faster compared to Cholesky-based calculations. We
analyze our proposed methods theoretically and in experiments with simulated
and real-world data. In particular, we obtain a speed-up of an order of
magnitude compared to Cholesky-based inference and a threefold increase in
prediction accuracy in terms of the continuous ranked probability score
compared to a state-of-the-art method on a large satellite data set. All
methods are implemented in a free C++ software library with high-level Python
and R packages.
- Abstract(参考訳): 潜在ガウス過程(GP)モデルは柔軟な確率的非パラメトリック関数モデルである。
ヴェッキア近似はGPが大規模データの計算ボトルネックを克服する正確な近似であり、ラプラス近似は漸近収束性を保証する高速な手法であり、非ガウス的確率に対する近縁確率と後方予測分布を保証している。
残念ながら、コレスキー分解のような直接解法と組み合わせて使う場合、Vecchia-Laplace近似の組み合わせの計算複雑性はサンプルサイズにおいて線形よりも速く増大する。
したがって、vecchia-laplace近似を用いた計算は、近似が通常、大きなデータセットにおいて最も正確である場合、非常に遅くなる。
本稿では,Choleskyに基づく計算と比較して計算をかなり高速にする,Vecchia-Laplace近似を用いた反復的推論法を提案する。
シミュレーションと実世界データを用いて,提案手法を理論的および実験で解析する。
特に,大規模衛星データセット上の最先端手法と比較して,choleskyに基づく推論と比較して桁違いの高速化と,連続的なランク付け確率スコアの3倍の予測精度を得る。
すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
関連論文リスト
- Variational sparse inverse Cholesky approximation for latent Gaussian
processes via double Kullback-Leibler minimization [6.012173616364571]
後肢の変分近似とSIC制限したKulback-Leibler-Optimal近似を併用した。
この設定のために、我々の変分近似は反復毎の多対数時間で勾配降下によって計算できる。
本稿では,DKLGP(Double-Kullback-Leibler-Optimal Gaussian-process approximation)を提案する。
論文 参考訳(メタデータ) (2023-01-30T21:50:08Z) - Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳(メタデータ) (2023-01-10T12:18:47Z) - Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
ガウスのプロセスはデータセットのサイズとともに違法にスケールする。
多くの近似法が開発されており、必然的に近似誤差を導入している。
この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。
本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
論文 参考訳(メタデータ) (2022-05-30T22:16:25Z) - Laplace Matching for fast Approximate Inference in Generalized Linear
Models [27.70274403550477]
本論文では,高い近似品質を実現しつつ,計算的に安価に設計した近似推論フレームワークを提案する。
我々が emphLaplace Matching と呼ぶこの概念は、指数群のパラメータ空間間の閉形式、近似、双方向変換を含む。
これにより、GLMにおける推論を(小さな近似誤差で)共役推論に変換する。
論文 参考訳(メタデータ) (2021-05-07T08:25:17Z) - Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。
我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。
提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。
派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
論文 参考訳(メタデータ) (2021-03-19T09:50:53Z) - Manifold learning with approximate nearest neighbors [1.8477401359673706]
多様体学習アルゴリズムでは近距離近傍の近似アルゴリズムを多用し,その埋め込み精度への影響を評価した。
ベンチマークmnistデータセットに基づく徹底的な実証調査により,近似近辺の計算時間が大幅に改善されることが示されている。
本アプリケーションは,提案手法を用いて異常を可視化し,同定し,高次元データ中の基盤構造を明らかにする方法を示す。
論文 参考訳(メタデータ) (2021-02-22T12:04:23Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳(メタデータ) (2020-11-08T17:09:37Z) - Disentangling the Gauss-Newton Method and Approximate Inference for
Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。
ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。
ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文 参考訳(メタデータ) (2020-07-21T17:42:58Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳(メタデータ) (2020-05-21T20:59:11Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z) - Statistical Outlier Identification in Multi-robot Visual SLAM using
Expectation Maximization [18.259478519717426]
本稿では、同時局所化およびマッピング(SLAM)におけるマップ間ループ閉包外乱検出のための、新しい分散手法を提案する。
提案アルゴリズムは優れた初期化に頼らず、一度に2つ以上のマップを処理できる。
論文 参考訳(メタデータ) (2020-02-07T06:34:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。