論文の概要: nuGPR: GPU-Accelerated Gaussian Process Regression with Iterative Algorithms and Low-Rank Approximations

• arxiv url: http://arxiv.org/abs/2510.12128v1
• Date: Tue, 14 Oct 2025 04:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.185149
• Title: nuGPR: GPU-Accelerated Gaussian Process Regression with Iterative Algorithms and Low-Rank Approximations
• Title（参考訳）: nuGPR: 反復アルゴリズムと低ランク近似によるGPU加速ガウスプロセス回帰
• Authors: Ziqi Zhao, Vivek Sarin,
• Abstract要約: 本稿では,GPRトレーニングに伴う高コストの課題に対処する新しいフレームワークであるnuGPRを提案する。 我々のフレームワークは、GPRの重要なステップにおける計算量を削減するために、数値線形代数からのいくつかのアイデアを含んでおり、それらを組み合わせてエンドツーエンドのトレーニングアルゴリズムを確立する。 nuGPRは、さまざまな合成および実世界のデータセット上で、トレーニング時間を最大2倍、ピークメモリ消費を最大12倍削減する。
• 参考スコア（独自算出の注目度）: 3.8715578341717207
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Gaussian Process Regression (GPR) is an important type of supervised machine learning model with inherent uncertainty measure in its predictions. We propose a new framework, nuGPR, to address the well-known challenge of high computation cost associated with GPR training. Our framework includes several ideas from numerical linear algebra to reduce the amount of computation in key steps of GPR, and we combine them to establish an end-to-end training algorithm. Specifically, we leverage the preconditioned conjugate gradient method to accelerate the convergence of the linear solves required in GPR. We exploit clustering in the input data to identify block-diagonal structure of the covariance matrix and subsequently construct low-rank approximations of the off-diagonal blocks. These enhancements significantly reduce the time and space complexity of our computations. In addition, unlike other frameworks that rely on exact differentiation, we employ numerical gradients to optimize the hyperparameters of our GPR model, further reducing the training cost by eliminating the need for backpropagation. Lastly, we leverage the CUDA Toolkit to efficiently parallelize the training procedure on NVIDIA GPUs. As a result, nuGPR reduces total training time by up to 2x and peak memory consumption by up to 12x on various synthetic and real-world datasets when compared to the best existing GPU-based GPR implementation.
• Abstract（参考訳）: ガウス過程回帰(英: Gaussian Process Regression、GPR)は、その予測に固有の不確実性のある教師付き機械学習モデルである。 本稿では,GPRトレーニングに伴う高計算コストの課題に対処する新しいフレームワークであるnuGPRを提案する。 我々のフレームワークは、GPRの重要なステップにおける計算量を削減するために、数値線形代数からのいくつかのアイデアを含んでおり、それらを組み合わせてエンドツーエンドのトレーニングアルゴリズムを確立する。 具体的には、事前条件付き共役勾配法を利用して、GPRに必要な線形解の収束を加速する。 入力データのクラスタリングを利用して、共分散行列のブロック対角構造を同定し、その後、オフ対角ブロックの低ランク近似を構築する。 これらの拡張により、計算の時間と空間の複雑さが大幅に減少する。 さらに、正確な微分に依存する他のフレームワークとは異なり、我々は数値勾配を用いてGPRモデルのハイパーパラメータを最適化し、バックプロパゲーションの必要性を排除し、トレーニングコストをさらに削減する。 最後に、CUDA Toolkitを活用し、NVIDIA GPU上でのトレーニング手順を効率的に並列化する。 結果として、nuGPRは、既存のGPUベースのGPR実装と比較して、さまざまな合成および実世界のデータセットにおいて、トレーニング総時間を最大2倍、ピークメモリ消費を最大12倍削減する。

関連論文リスト

• A quantum gradient descent algorithm for optimizing Gaussian Process models [28.16587217223671]
  ガウス過程モデルを最適化するための量子勾配降下アルゴリズムを提案する。 本アルゴリズムは,ログ限界確率の勾配の計算において指数的高速化を実現する。
  論文  参考訳（メタデータ） (2025-03-22T14:14:31Z)
• Linearly Convergent Mixup Learning [0.0]
  より広い範囲のバイナリ分類モデルに拡張する2つの新しいアルゴリズムを提案する。 勾配に基づくアプローチとは異なり、我々のアルゴリズムは学習率のようなハイパーパラメータを必要とせず、実装と最適化を単純化する。 我々のアルゴリズムは、降下勾配法と比較して最適解への高速収束を実現し、ミックスアップデータの増大は、様々な損失関数の予測性能を一貫して改善する。
  論文  参考訳（メタデータ） (2025-01-14T02:33:40Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• DOGE-Train: Discrete Optimization on GPU with End-to-end Training [28.795080637690095]
  0-1整数線形プログラムの緩和を解くために,高速でスケーラブルなデータ駆動型手法を提案する。 グラフニューラルネットワーク(GNN)とラグランジュ分解に基づくアルゴリズムであるFastDOGを用いる。
  論文  参考訳（メタデータ） (2022-05-23T21:09:41Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。