論文の概要: Actually Sparse Variational Gaussian Processes
- arxiv url: http://arxiv.org/abs/2304.05091v1
- Date: Tue, 11 Apr 2023 09:38:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 15:30:16.783435
- Title: Actually Sparse Variational Gaussian Processes
- Title（参考訳）: 実際にスパース変分ガウス過程
- Authors: Harry Jake Cunningham, Daniel Augusto de Souza, So Takao, Mark van der
Wilk, Marc Peter Deisenroth
- Abstract要約: コンパクトに支持されたB-スプライン基底関数の集合にGPを投影することによって構築されたドメイン間変分GPの新しいクラスを提案する。
これにより、高速変動空間現象を数万の誘導変数で非常に効率的にモデル化することができる。
- 参考スコア（独自算出の注目度）: 20.71289963037696
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian processes (GPs) are typically criticised for their unfavourable
scaling in both computational and memory requirements. For large datasets,
sparse GPs reduce these demands by conditioning on a small set of inducing
variables designed to summarise the data. In practice however, for large
datasets requiring many inducing variables, such as low-lengthscale spatial
data, even sparse GPs can become computationally expensive, limited by the
number of inducing variables one can use. In this work, we propose a new class
of inter-domain variational GP, constructed by projecting a GP onto a set of
compactly supported B-spline basis functions. The key benefit of our approach
is that the compact support of the B-spline basis functions admits the use of
sparse linear algebra to significantly speed up matrix operations and
drastically reduce the memory footprint. This allows us to very efficiently
model fast-varying spatial phenomena with tens of thousands of inducing
variables, where previous approaches failed.
- Abstract（参考訳）: ガウス過程(GP)は一般に、計算とメモリの両方の要求において、望ましくないスケーリングによって批判される。
大規模なデータセットでは、データの要約用に設計された変数の小さなセットを条件にすることで、スパースGPはこれらの要求を減らす。
しかし、実際には、低スケール空間データのような多くの誘導変数を必要とする大規模なデータセットでは、スパースGPでさえ計算コストが高くなり、使用可能な誘導変数の数によって制限される。
本研究では,コンパクトに支持されたB-スプライン基底関数の集合にGPを射影して構築した領域間変分GPの新しいクラスを提案する。
我々のアプローチの主な利点は、B-スプライン基底関数のコンパクトなサポートは、スパース線型代数を用いることで行列演算を著しく高速化し、メモリフットプリントを大幅に減少させることである。
これにより、高速変動空間現象を数万の誘導変数で非常に効率的にモデル化することができる。
関連論文リスト
- AcceleratedLiNGAM: Learning Causal DAGs at the speed of GPUs [57.12929098407975]
既存の因果探索法を効率的に並列化することにより,数千次元まで拡張可能であることを示す。
具体的には、DirectLiNGAMの因果順序付けサブプロデューサに着目し、GPUカーネルを実装して高速化する。
これにより、遺伝子介入による大規模遺伝子発現データに対する因果推論にDirectLiNGAMを適用することで、競争結果が得られる。
論文 参考訳（メタデータ） (2024-03-06T15:06:11Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳（メタデータ） (2023-09-29T20:18:52Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Revisiting Active Sets for Gaussian Process Decoders [0.0]
我々は最近発見されたクロスバリデーションのリンクに基づいて,ログマージ可能性の新たな推定法を開発した。
結果の能動集合 (SAS) 近似がGPデコーダトレーニングの堅牢性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-09-10T10:49:31Z) - Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。
古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
論文 参考訳（メタデータ） (2022-06-17T19:03:04Z) - Scaling Gaussian Process Optimization by Evaluating a Few Unique
Candidates Multiple Times [119.41129787351092]
GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。
GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
論文 参考訳（メタデータ） (2022-01-30T20:42:14Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-10-26T10:45:25Z) - SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data [16.463077353773603]
SigGPDEは,ガウス過程(GP)を逐次データに基づいて拡張可能な分散変動推論フレームワークである。
GPシグネチャカーネルの勾配は双曲偏微分方程式(PDE)の解であることを示す。
この理論的な洞察により、ELBOを最適化する効率的なバックプロパゲーションアルゴリズムを構築することができる。
論文 参考訳（メタデータ） (2021-05-10T09:10:17Z) - MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local
Cross-Validation [1.2233362977312945]
本稿では,新しいGPハイパーパラメータ推定法であるMuyGPを提案する。
MuyGPsは、データの最も近い隣人構造を利用する事前のメソッドの上に構築される。
提案手法は, 解法と予測値の平均二乗誤差の両方において, 既知の競合よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-29T18:10:21Z) - Sparse within Sparse Gaussian Processes using Neighbor Information [23.48831040972227]
誘導変数の集合にスパーシリティを課す新しい階層的先行性を導入する。
我々は,標準のスパースGPと比較して,かなりの計算ゲインを実験的に示す。
論文 参考訳（メタデータ） (2020-11-10T11:07:53Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T04:28:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。