論文の概要: Quadruply Stochastic Gaussian Processes
- arxiv url: http://arxiv.org/abs/2006.03015v1
- Date: Thu, 4 Jun 2020 17:06:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 09:34:30.676992
- Title: Quadruply Stochastic Gaussian Processes
- Title(参考訳): 4次確率ガウス過程
- Authors: Trefor W. Evans and Prasanth B. Nair
- Abstract要約: 本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。
GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
- 参考スコア(独自算出の注目度): 10.152838128195466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a stochastic variational inference procedure for training
scalable Gaussian process (GP) models whose per-iteration complexity is
independent of both the number of training points, $n$, and the number basis
functions used in the kernel approximation, $m$. Our central contributions
include an unbiased stochastic estimator of the evidence lower bound (ELBO) for
a Gaussian likelihood, as well as a stochastic estimator that lower bounds the
ELBO for several other likelihoods such as Laplace and logistic. Independence
of the stochastic optimization update complexity on $n$ and $m$ enables
inference on huge datasets using large capacity GP models. We demonstrate
accurate inference on large classification and regression datasets using GPs
and relevance vector machines with up to $m = 10^7$ basis functions.
- Abstract(参考訳): 本稿では, 学習点数, n$, およびカーネル近似で使われる数基底関数, $m$ に依存しない, 文単位の複雑性を持つスケーラブルなガウス過程(gp)モデルを学習するための確率的変分推論手法を提案する。
我々の中心的な貢献には、ガウス的可能性の証拠の下限(ELBO)の偏りのない確率推定器や、ラプラスやロジスティックのような他のいくつかの可能性のELBOを下限とする確率推定器が含まれる。
確率最適化更新の複雑さの独立性 $n$ と $m$ は、大規模なgpモデルを用いた巨大なデータセットの推論を可能にする。
GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 10^7$の基底関数で示す。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳(メタデータ) (2024-02-15T08:51:49Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳(メタデータ) (2022-05-27T16:43:10Z) - Fast variable selection makes scalable Gaussian process BSS-ANOVA a
speedy and accurate choice for tabular and time series regression [0.0]
ガウス過程 (GP) は長い歴史を持つ非パラメトリック回帰エンジンである。
拡張性のあるGPアプローチの1つは、2009年に開発されたKL(Karhunen-Lo'eve)分解カーネルBSS-ANOVAである。
項の数を迅速かつ効果的に制限し、競争力のある精度の方法をもたらす新しい変数選択法である。
論文 参考訳(メタデータ) (2022-05-26T23:41:43Z) - Exact Gaussian Processes for Massive Datasets via Non-Stationary
Sparsity-Discovering Kernels [0.0]
本稿では,カーネルがスパース構造を誘導する代わりに,自然に構造されたスパース性を活用することを提案する。
超フレキシブル、コンパクトサポート、非定常カーネルの原理とHPCと制約付き最適化を組み合わせることで、500万のデータポイントを超える正確なGPをスケールできる。
論文 参考訳(メタデータ) (2022-05-18T16:56:53Z) - Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent:
Convergence Guarantees and Empirical Benefits [21.353189917487512]
勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。
我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。
我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
論文 参考訳(メタデータ) (2021-11-19T22:28:47Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2021-10-26T10:45:25Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data [16.463077353773603]
SigGPDEは,ガウス過程(GP)を逐次データに基づいて拡張可能な分散変動推論フレームワークである。
GPシグネチャカーネルの勾配は双曲偏微分方程式(PDE)の解であることを示す。
この理論的な洞察により、ELBOを最適化する効率的なバックプロパゲーションアルゴリズムを構築することができる。
論文 参考訳(メタデータ) (2021-05-10T09:10:17Z) - $\pi$VAE: a stochastic process prior for Bayesian deep learning with
MCMC [2.4792948967354236]
先行符号化オートエンコーダ(pi$VAE)と呼ばれる新しい変分オートエンコーダを提案する。
本稿では,ガウス過程などの表現型関数クラスを正確に学習できるだけでなく,統計的推論を可能にする関数の性質も示す。
おそらく最も有用なのは、低次元分散潜在空間表現学習が、Stanのようなプログラミング言語内でプロセスの推論を行うエレガントでスケーラブルな手段を提供することを示すことである。
論文 参考訳(メタデータ) (2020-02-17T10:23:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。