論文の概要: Vecchia-Inducing-Points Full-Scale Approximations for Gaussian Processes

• arxiv url: http://arxiv.org/abs/2507.05064v1
• Date: Mon, 07 Jul 2025 14:49:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.462372
• Title: Vecchia-Inducing-Points Full-Scale Approximations for Gaussian Processes
• Title（参考訳）: ガウス過程に対するVecchia-Inducing-Points Full-Scale Approximation
• Authors: Tim Gyger, Reinhard Furrer, Fabio Sigrist,
• Abstract要約: ガウス過程に対するVecchia-inducing-points full-scale (VIF)近似を提案する。 我々は、VIF近似は計算効率が良く、また、最先端の代替手法よりも精度が高く、数値的に安定であることを示した。 すべてのメソッドは、オープンソースのC++ライブラリGPBoostで実装され、ハイレベルなPythonとRインターフェースを持つ。
• 参考スコア（独自算出の注目度）: 9.913418444556486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes are flexible, probabilistic, non-parametric models widely used in machine learning and statistics. However, their scalability to large data sets is limited by computational constraints. To overcome these challenges, we propose Vecchia-inducing-points full-scale (VIF) approximations combining the strengths of global inducing points and local Vecchia approximations. Vecchia approximations excel in settings with low-dimensional inputs and moderately smooth covariance functions, while inducing point methods are better suited to high-dimensional inputs and smoother covariance functions. Our VIF approach bridges these two regimes by using an efficient correlation-based neighbor-finding strategy for the Vecchia approximation of the residual process, implemented via a modified cover tree algorithm. We further extend our framework to non-Gaussian likelihoods by introducing iterative methods that substantially reduce computational costs for training and prediction by several orders of magnitudes compared to Cholesky-based computations when using a Laplace approximation. In particular, we propose and compare novel preconditioners and provide theoretical convergence results. Extensive numerical experiments on simulated and real-world data sets show that VIF approximations are both computationally efficient as well as more accurate and numerically stable than state-of-the-art alternatives. All methods are implemented in the open source C++ library GPBoost with high-level Python and R interfaces.
• Abstract（参考訳）: ガウス過程はフレキシブルで確率的、非パラメトリックなモデルであり、機械学習や統計学で広く使われている。 しかし、その大規模データセットへのスケーラビリティは、計算の制約によって制限される。 これらの課題を克服するために,グローバル誘導点と局所ヴェッキア近似の強みを組み合わせたVecchia-inducing-points full-scale (VIF)近似を提案する。 ヴェッキア近似は低次元入力と適度に滑らかな共分散関数の設定において優れ、一方、点法は高次元入力とより滑らかな共分散関数により適している。 我々のVIFアプローチは、修正された被覆木アルゴリズムを用いて実装された残差過程のヴェッキア近似に対して、効率的な相関に基づく隣りのフィニング戦略を用いて、これらの2つのレジームを橋渡しする。 ラプラス近似(Laplace approximation)を用いることで、Coleskyベースの計算と比較して、トレーニングと予測の計算コストを桁違いに削減する反復的手法を導入することで、我々のフレームワークをさらに非ガウス的可能性にまで拡張する。 特に,新しいプレコンディショナーを提案し,比較し,理論的収束結果を提供する。 シミュレーションおよび実世界のデータセットに関する大規模な数値実験により、VIF近似は計算的に効率的であり、最先端の代替よりも正確で数値的に安定であることが示された。 すべてのメソッドは、オープンソースのC++ライブラリGPBoostで実装され、ハイレベルなPythonとRインターフェースを持つ。

関連論文リスト

• Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
  実規模近似(FSAs)を用いた確率,勾配,予測分布の計算における計算コストの削減に,反復的手法がいかに有効かを示す。 我々は,新しいプレコンディショナーを導入し,共役勾配法の収束速度を加速し,FSAパラメータに対する感度を緩和することを示す。 我々の実験では、Vecchia近似に対する既存の最先端プリコンディショナーよりも優れています。
  論文  参考訳（メタデータ） (2024-05-23T12:25:22Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian Process Models [11.141688859736805]
  本稿では,いくつかのプレコンディショナーを導入,解析し,新しい収束結果の導出を行い,予測分散を正確に近似する新しい手法を提案する。 特に、Coleskyベースの計算と比較すると、桁違いの高速化が得られる。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2023-10-18T14:31:16Z)
• Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees [57.67528738886731]
  誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。 地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-14T15:20:17Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。