論文の概要: Turbocharging Gaussian Process Inference with Approximate Sketch-and-Project

• arxiv url: http://arxiv.org/abs/2505.13723v1
• Date: Mon, 19 May 2025 20:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.537037
• Title: Turbocharging Gaussian Process Inference with Approximate Sketch-and-Project
• Title（参考訳）: 近似スケッチ・アンド・プロジェクトによるガウス過程のターボチャージ
• Authors: Pratik Rathore, Zachary Frangella, Sachin Garg, Shaghayegh Fazliani, Michał Dereziński, Madeleine Udell,
• Abstract要約: 本稿では,線形システムを解くための近似的,分散的,高速化されたスケッチ・アンド・プロジェクトアルゴリズム(texttADASAP$)を提案する。 決定点過程の理論を用いて、スケッチ・アンド・プロジェクションによって誘導される後進平均が、真の後進平均に急速に収束することを示す。 $texttADASAP$は$>3 cdot 108$のデータセットにスケールする。
• 参考スコア（独自算出の注目度）: 14.53857041867143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian processes (GPs) play an essential role in biostatistics, scientific machine learning, and Bayesian optimization for their ability to provide probabilistic predictions and model uncertainty. However, GP inference struggles to scale to large datasets (which are common in modern applications), since it requires the solution of a linear system whose size scales quadratically with the number of samples in the dataset. We propose an approximate, distributed, accelerated sketch-and-project algorithm ($\texttt{ADASAP}$) for solving these linear systems, which improves scalability. We use the theory of determinantal point processes to show that the posterior mean induced by sketch-and-project rapidly converges to the true posterior mean. In particular, this yields the first efficient, condition number-free algorithm for estimating the posterior mean along the top spectral basis functions, showing that our approach is principled for GP inference. $\texttt{ADASAP}$ outperforms state-of-the-art solvers based on conjugate gradient and coordinate descent across several benchmark datasets and a large-scale Bayesian optimization task. Moreover, $\texttt{ADASAP}$ scales to a dataset with $> 3 \cdot 10^8$ samples, a feat which has not been accomplished in the literature.
• Abstract（参考訳）: ガウス過程(GP)は、確率論的予測とモデルの不確実性を提供する能力に対するバイオ統計学、科学機械学習、ベイズ最適化において重要な役割を果たす。 しかし、GP推論は、データセット内のサンプル数と2次スケールの線形システムの解を必要とするため、大規模なデータセット(現代の応用では一般的である)にスケールするのに苦労する。 本稿では,これらの線形システムを解くための近似的,分散的,高速化されたスケッチ・アンド・プロジェクトアルゴリズム(\texttt{ADASAP}$)を提案する。 決定点過程の理論を用いて、スケッチ・アンド・プロジェクションによって誘導される後進平均が、真の後進平均に急速に収束することを示す。 特に、このアルゴリズムは、最上位スペクトル基底関数に沿って後進平均を推定するための最初の効率の良い条件数のないアルゴリズムであり、我々のアプローチがGP推論のために原理化されていることを示す。 $\texttt{ADASAP}$は、複数のベンチマークデータセットと大規模なベイズ最適化タスクの共役勾配と座標降下に基づいて、最先端の解決器を上回ります。 さらに$\texttt{ADASAP}$は、$> 3 \cdot 10^8$サンプルを持つデータセットにスケールする。

関連論文リスト

• Scalable Bayesian Tensor Ring Factorization for Multiway Data Analysis [24.04852523970509]
  非パラメトリック乗算ガンマプロセス(MGP)を前もって組み込んだ新しいBTRモデルを提案する。 離散データを扱うために、クローズドフォーム更新のためのP'olya-Gamma拡張を導入する。 そこで我々は,従来のVIアルゴリズムの計算複雑性を2桁に減らした,一貫した後続シミュレーションのための効率的なギブスサンプリング器を開発した。
  論文  参考訳（メタデータ） (2024-12-04T13:55:14Z)
• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data [16.463077353773603]
  SigGPDEは,ガウス過程(GP)を逐次データに基づいて拡張可能な分散変動推論フレームワークである。 GPシグネチャカーネルの勾配は双曲偏微分方程式(PDE)の解であることを示す。 この理論的な洞察により、ELBOを最適化する効率的なバックプロパゲーションアルゴリズムを構築することができる。
  論文  参考訳（メタデータ） (2021-05-10T09:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。