論文の概要: Connections and Equivalences between the Nystr\"om Method and Sparse
Variational Gaussian Processes
- arxiv url: http://arxiv.org/abs/2106.01121v1
- Date: Wed, 2 Jun 2021 12:45:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 14:38:22.218593
- Title: Connections and Equivalences between the Nystr\"om Method and Sparse
Variational Gaussian Processes
- Title（参考訳）: nystr\"om法とばらばらな変分ガウス過程の接続と等価性
- Authors: Veit Wild, Motonobu Kanagawa, Dino Sejdinovic
- Abstract要約: 回帰問題の文脈において、Nystr"omとSVGP近似という2つの一般的なアプローチについて検討する。
我々は,SVGP近似のRKHS解釈を行い,SVGPのエビデンス下界がNystr"om近似の目的関数を含むことを示す。
- 参考スコア（独自算出の注目度）: 14.986338850289508
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the connections between sparse approximation methods for
making kernel methods and Gaussian processes (GPs) scalable to massive data,
focusing on the Nystr\"om method and the Sparse Variational Gaussian Processes
(SVGP). While sparse approximation methods for GPs and kernel methods share
some algebraic similarities, the literature lacks a deep understanding of how
and why they are related. This is a possible obstacle for the communications
between the GP and kernel communities, making it difficult to transfer results
from one side to the other. Our motivation is to remove this possible obstacle,
by clarifying the connections between the sparse approximations for GPs and
kernel methods. In this work, we study the two popular approaches, the
Nystr\"om and SVGP approximations, in the context of a regression problem, and
establish various connections and equivalences between them. In particular, we
provide an RKHS interpretation of the SVGP approximation, and show that the
Evidence Lower Bound of the SVGP contains the objective function of the
Nystr\"om approximation, revealing the origin of the algebraic equivalence
between the two approaches. We also study recently established convergence
results for the SVGP and how they are related to the approximation quality of
the Nystr\"om method.
- Abstract（参考訳）: 我々は,Nystr\"om法とSparse Variational Gaussian Processes (SVGP)に着目し,カーネル法とガウス過程(GP)を大規模データに拡張するためのスパース近似手法の関連性を検討する。
gps とカーネル法に対するスパース近似法は代数的類似性を共有しているが、文献にはそれらの関係性についての深い理解が欠けている。
これはGPコミュニティとカーネルコミュニティの間の通信の障害になり得るため、一方からもう一方へ結果の転送が困難になる。
我々のモチベーションは、GPとカーネルメソッドのスパース近似の接続を明確にすることで、この可能な障害を取り除くことである。
本研究では,回帰問題の文脈において,nystr\"omとsvgp近似という2つの一般的なアプローチを研究し,それらの関係と等価性を確立する。
特に、svgp近似の rkhs 解釈を提供し、svgp のエビデンス下限が nystr\"om 近似の目的関数を含むことを示し、2つのアプローチの間の代数的同値の起源を明らかにする。
また,最近確立された SVGP の収束結果と Nystr\"om 法の近似品質との関連性についても検討した。
関連論文リスト
- Variational sparse inverse Cholesky approximation for latent Gaussian
processes via double Kullback-Leibler minimization [6.012173616364571]
後肢の変分近似とSIC制限したKulback-Leibler-Optimal近似を併用した。
この設定のために、我々の変分近似は反復毎の多対数時間で勾配降下によって計算できる。
本稿では,DKLGP(Double-Kullback-Leibler-Optimal Gaussian-process approximation)を提案する。
論文 参考訳（メタデータ） (2023-01-30T21:50:08Z) - A mixed-categorical correlation kernel for Gaussian process [0.0]
本稿では, 連続指数関数型カーネルを拡張し, 混合カテゴリー変数の処理を行うカーネルベースアプローチを提案する。
提案したカーネルは、連続緩和とゴーワー距離に基づくGPモデルの両方を一般化する新しいGPサロゲートを導く。
論文 参考訳（メタデータ） (2022-11-15T16:13:04Z) - Linear Convergence of Natural Policy Gradient Methods with Log-Linear
Policies [115.86431674214282]
我々は、無限水平割引マルコフ決定過程を考察し、自然政策勾配(NPG)とQ-NPG法の収束率を対数線形ポリシークラスで検討する。
両手法が線形収束率と $mathcalO (1/epsilon2)$サンプル複雑度を, 単純で非適応的な幾何的に増加するステップサイズを用いて達成できることを示す。
論文 参考訳（メタデータ） (2022-10-04T06:17:52Z) - Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
ガウスのプロセスはデータセットのサイズとともに違法にスケールする。
多くの近似法が開発されており、必然的に近似誤差を導入している。
この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。
本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
論文 参考訳（メタデータ） (2022-05-30T22:16:25Z) - Efficient semidefinite bounds for multi-label discrete graphical models [6.226454551201676]
このようなモデルにおける主要なクエリの1つは、Posteri(MAP)ネットワークのコストに関するSDPWCSP関数を特定することである。
従来の二重化制約手法と,行ごとの更新に基づく専用SDP/Monteiroスタイルの手法を検討する。
論文 参考訳（メタデータ） (2021-11-24T13:38:34Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Learning Gaussian Graphical Models with Latent Confounders [74.72998362041088]
我々は、グラフィカルモデルにおける推論のための2つの戦略を、潜伏した共同創設者と比較し、対比する。
これら2つのアプローチは、類似した目標を持っているが、それらは共起に関する異なる仮定によって動機付けられている。
これら2つのアプローチの強みを組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2021-05-14T00:53:03Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳（メタデータ） (2020-11-08T17:09:37Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳（メタデータ） (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。