論文の概要: Variational Nearest Neighbor Gaussian Processes
- arxiv url: http://arxiv.org/abs/2202.01694v1
- Date: Thu, 3 Feb 2022 17:01:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 13:26:42.364636
- Title: Variational Nearest Neighbor Gaussian Processes
- Title(参考訳): 変分最寄りのガウス過程
- Authors: Luhuan Wu, Geoff Pleiss, John Cunningham
- Abstract要約: 我々は,K近傍の観測でのみ相関が保たれる先行過程である変分近傍ガウス過程(VNNGP)を提案する。
我々は、VNNGPが低ランクな手法を劇的に上回り、近隣の他の手法よりも過度に適合する傾向が低いことを示した。
- 参考スコア(独自算出の注目度): 11.719951719564468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational approximations to Gaussian processes (GPs) typically use a small
set of inducing points to form a low-rank approximation to the covariance
matrix. In this work, we instead exploit a sparse approximation of the
precision matrix. We propose variational nearest neighbor Gaussian process
(VNNGP), which introduces a prior that only retains correlations within K
nearest-neighboring observations, thereby inducing sparse precision structure.
Using the variational framework, VNNGP's objective can be factorized over both
observations and inducing points, enabling stochastic optimization with a time
complexity of O($K^3$). Hence, we can arbitrarily scale the inducing point
size, even to the point of putting inducing points at every observed location.
We compare VNNGP to other scalable GPs through various experiments, and
demonstrate that VNNGP (1) can dramatically outperform low-rank methods, and
(2) is less prone to overfitting than other nearest neighbor methods.
- Abstract(参考訳): ガウス過程(gps)への変分近似は、典型的には小さな誘導点の集合を用いて共分散行列の低ランク近似を形成する。
この研究では、代わりに精度行列のスパース近似を利用する。
我々は,K近傍の観測でのみ相関を保ち,スパース精度構造を誘導する先行する変分近傍ガウス過程(VNNGP)を提案する。
変分フレームワークを用いることで、VNNGPの目的は観測点と誘導点の両方で決定され、O($K^3$)の時間的複雑さを伴う確率的最適化が可能となる。
したがって、観測された全ての地点に誘導点を置く点まで、任意の方法で誘導点サイズをスケールすることができる。
様々な実験を通してvnngpと他のスケーラブルgpsを比較し,vnngp (1) が低ランク法を劇的に上回ることができ,(2) は他の隣接法に比べて過剰フィットしにくいことを示した。
関連論文リスト
- Variational sparse inverse Cholesky approximation for latent Gaussian
processes via double Kullback-Leibler minimization [6.012173616364571]
後肢の変分近似とSIC制限したKulback-Leibler-Optimal近似を併用した。
この設定のために、我々の変分近似は反復毎の多対数時間で勾配降下によって計算できる。
本稿では,DKLGP(Double-Kullback-Leibler-Optimal Gaussian-process approximation)を提案する。
論文 参考訳(メタデータ) (2023-01-30T21:50:08Z) - Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳(メタデータ) (2023-01-10T12:18:47Z) - Sparse Kernel Gaussian Processes through Iterative Charted Refinement
(ICR) [0.0]
本稿では,ガウス過程をモデル化するためのICR(Iterative Charted Refinement)という新しい生成手法を提案する。
ICRは、様々な解像度でモデル化された場所のビューとユーザが提供する座標チャートを組み合わせることで、長距離および短距離の相関を表現している。
ICRは、CPUとGPUの1桁の計算速度で既存の手法より優れています。
論文 参考訳(メタデータ) (2022-06-21T18:00:01Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳(メタデータ) (2021-10-20T02:25:25Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Laplace Matching for fast Approximate Inference in Generalized Linear
Models [27.70274403550477]
本論文では,高い近似品質を実現しつつ,計算的に安価に設計した近似推論フレームワークを提案する。
我々が emphLaplace Matching と呼ぶこの概念は、指数群のパラメータ空間間の閉形式、近似、双方向変換を含む。
これにより、GLMにおける推論を(小さな近似誤差で)共役推論に変換する。
論文 参考訳(メタデータ) (2021-05-07T08:25:17Z) - Hybrid Trilinear and Bilinear Programming for Aligning Partially
Overlapping Point Sets [85.71360365315128]
多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。
まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。
次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-01-19T04:24:23Z) - Disentangling the Gauss-Newton Method and Approximate Inference for
Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。
ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。
ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文 参考訳(メタデータ) (2020-07-21T17:42:58Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z) - Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。
この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
論文 参考訳(メタデータ) (2019-10-23T15:01:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。