論文の概要: GpFlash: Maximizing Speed and Minimizing Memory for Gaussian Process Training and Prediction
- arxiv url: http://arxiv.org/abs/2610.16861v1
- Date: Mon, 12 Oct 2026 14:29:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:12:07.267585
- Title: GpFlash: Maximizing Speed and Minimizing Memory for Gaussian Process Training and Prediction
- Title（参考訳）: GpFlash: ガウス的プロセストレーニングと予測のための速度最大化とメモリ最小化
- Abstract要約: 本稿では,ガウスのプロセスライブラリであるGpFlashについて述べる。
GpFlashは、一般的なGPライブラリであるScikit-learn、GPy、GPflow、GPyTorch、SMTをMacBook ProとスーパーコンピュータのTrilliumで比較した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents GpFlash, a Gaussian process library that is focused on fast training and posterior evaluations, minimal memory usage, and scalability to high-dimensional problems. GpFlash was compared to the popular GP libraries scikit-learn, GPy, GPflow, GPyTorch, and SMT on a MacBook Pro and the supercomputer Trillium. GpFlash was found to use less memory and to be faster for training and posterior evaluations relative to the other GP libraries for all cases considered. For example, when using $\nx = 10^4$ training points in a 10-dimensional space GpFlash required 9.6 to 35 times less memory and was 2.6 to 54 times faster than the other GP libraries for the evaluation of the marginal log likelihood and its gradient. The memory reduction was achieved by only using one matrix of size $\nx \times \nx$ to store different symmetric matrices in its lower and upper triangular entries. The computational speedup was the result of designing algorithms to access memory efficiently, using BLAS and LAPACK methods extensively, and factoring kernel equations so that expensive exponential calculations could be reused. GpFlash was more than 440 times faster than all of the other GP libraries considered when evaluating the posterior mean together with its gradient for the case with $10^4$ training points and 10 dimensions. GpFlash is available at https://github.com/marchildon/gpflash.
- Abstract（参考訳）: 本稿では,高速トレーニングと後続評価,メモリ使用量の最小化,高次元問題への拡張性を重視したガウスプロセスライブラリGpFlashを提案する。
GpFlashは、一般的なGPライブラリであるScikit-learn、GPy、GPflow、GPyTorch、SMTをMacBook ProとスーパーコンピュータのTrilliumで比較した。
GpFlashはメモリ使用量が減り、検討対象のGPライブラリと比較してトレーニングや後部評価がより高速であることが判明した。
例えば、$\nx = 10^4$のトレーニングポイントを10次元空間で使用する場合、GpFlashは9.6から35倍のメモリを必要とし、他のGPライブラリよりも2.6から54倍高速であった。
メモリ削減は、下および上三角形のエントリに異なる対称行列を格納するために、サイズ$\nx \times \nx$の1つの行列のみを使用することで達成された。
計算スピードアップは、BLASとLAPACKの手法を用いてメモリを効率的にアクセスするアルゴリズムを設計し、高価な指数関数計算を再利用できるようにカーネル方程式を分解した結果である。
GpFlashは他のGPライブラリの440倍以上の速度で後部平均値の評価を行い、10^4$のトレーニングポイントと10次元の勾配を示した。
GpFlashはhttps://github.com/marchildon/gpflash.comで入手できる。
関連論文リスト
- GPU Parallelization Strategies for Forward and Backward Propagation in Shallow Neural Networks: A CUDA-Based Comparative Study [0.0]
本稿では,浅層ニューラルネットワークにおける前方・後方伝播に対する最適化手法の比較検討を行う。
NVIDIA Tesla T4(CUDA 13.0)の実験では、完全に最適化された実装はベースラインバージョンよりも1.41倍のスピードアップを達成した。
結果は、シーケンシャルベースラインとOpenMP並列実装と比較される。
論文 参考訳（メタデータ） (2026-06-29T16:02:10Z) - Gefen: Optimized Stochastic Optimizer [32.771995350910125]
AdamWは現代のディープラーニングのデフォルトですが、第1と第2の瞬間状態は、メモリのトレーニングにおよそ2つのパラメータサイズのバッファを追加します。
本稿では,パラメータブロック間で第2モーメント推定値を共有するメモリ効率のよいコードブックであるGefenを提案し,学習したコードブックを用いて第1モーメントを定量化する。
我々は、GefenがAdamWのメモリフットプリントを8倍に削減し、同じ性能を維持していることを示す。
論文 参考訳（メタデータ） (2026-06-11T20:38:09Z) - Lightweight Gaussian Process Inference in C++ on Metal and CUDA [0.0]
Pythonのガウスプロセス(GP)推論はGPyTorchやGPflowなどのライブラリが支配している。
我々は,Pythonバインディングを用いたGPレグレッションのための依存性のないC17ライブラリLightGPを紹介する。
論文 参考訳（メタデータ） (2026-05-18T06:03:39Z) - DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。
本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。
最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
論文 参考訳（メタデータ） (2023-10-05T03:47:57Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳（メタデータ） (2023-08-11T04:24:39Z) - FlashAttention-2: Faster Attention with Better Parallelism and Work
Partitioning [11.508362885430133]
非対称なGPUメモリ階層を利用して、メモリの大幅な節約と実行時の高速化を実現しています。
FlashAttentionはまだGEMM(Optimized matrix-multiply)操作ほど高速ではなく、理論上の最大FLOP/sの25-40%にしか達していない。
これらの問題に対処するために、より優れた作業パーティショニングを備えたFlashAttention-2を提案する。
論文 参考訳（メタデータ） (2023-07-17T17:50:36Z) - FlashAttention: Fast and Memory-Efficient Exact Attention with
IO-Awareness [80.3586155104237]
FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。
これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。
FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
論文 参考訳（メタデータ） (2022-05-27T17:53:09Z) - Scaling Gaussian Process Optimization by Evaluating a Few Unique
Candidates Multiple Times [119.41129787351092]
GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。
GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
論文 参考訳（メタデータ） (2022-01-30T20:42:14Z) - Accelerating Genetic Programming using GPUs [0.0]
遺伝的プログラミング(GP)は、曲線フィッティング、データモデリング、特徴選択、分類など、機械学習に複数の応用がある。
本稿では,代用GPアルゴリズムのGPUアクセラレーションスタックに基づく変種について述べる。
論文 参考訳（メタデータ） (2021-10-15T06:13:01Z) - Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。
本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。
実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2020-10-29T08:55:33Z) - Near-linear Time Gaussian Process Optimization with Adaptive Batching
and Resparsification [119.41129787351092]
BBKBは非回帰GP最適化アルゴリズムで、ほぼ直線的に実行し、バッチで候補を選択する。
また,同じバウンダリを用いて,スパルスGP近似の更新コストを適応的に遅延させることで,ステップ毎の償却コストをほぼ一定に抑えることができることを示した。
論文 参考訳（メタデータ） (2020-02-23T17:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。