論文の概要: Deep Sigma Point Processes
- arxiv url: http://arxiv.org/abs/2002.09112v2
- Date: Sat, 26 Dec 2020 17:27:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 00:33:18.929219
- Title: Deep Sigma Point Processes
- Title(参考訳): 深いシグマ点過程
- Authors: Martin Jankowiak, Geoff Pleiss, Jacob R. Gardner
- Abstract要約: ディープガウス過程(DGP)の構成構造から着想を得たパラメトリックモデルのクラスを導入する。
ディープシグマポイントプロセス(DSPP)は、カーネル基底関数によって制御されるミニバッチトレーニングや予測不確実性を含む、(可変)DGPの魅力的な特徴の多くを保持している。
- 参考スコア(独自算出の注目度): 22.5396672566053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Deep Sigma Point Processes, a class of parametric models
inspired by the compositional structure of Deep Gaussian Processes (DGPs). Deep
Sigma Point Processes (DSPPs) retain many of the attractive features of
(variational) DGPs, including mini-batch training and predictive uncertainty
that is controlled by kernel basis functions. Importantly, since DSPPs admit a
simple maximum likelihood inference procedure, the resulting predictive
distributions are not degraded by any posterior approximations. In an extensive
empirical comparison on univariate and multivariate regression tasks we find
that the resulting predictive distributions are significantly better calibrated
than those obtained with other probabilistic methods for scalable regression,
including variational DGPs--often by as much as a nat per datapoint.
- Abstract(参考訳): 本稿では,Deep Gaussian Processes (DGP) の構成構造から着想を得たパラメトリックモデルのクラスであるDeep Sigma Point Processesを紹介する。
ディープシグマポイントプロセス(DSPP)は、カーネル基底関数によって制御されるミニバッチトレーニングや予測不確実性を含む、(可変)DGPの魅力的な特徴の多くを保持している。
重要なことは、DSPPは単純な極大推定手順を許容しているため、結果として生じる予測分布は後部近似によって劣化しない。
単変量および多変量回帰タスクに関する広範な実証的な比較では、結果の予測分布は、拡張性のある回帰のための他の確率的手法で得られたものよりも、はるかによく校正されている。
関連論文リスト
- Amortized Variational Inference for Deep Gaussian Processes [0.0]
ディープガウス過程(DGP)はガウス過程(GP)の多層一般化である
本稿では,DGPに対して,各観測を変動パラメータにマッピングする推論関数を学習するアモータライズされた変分推論を導入する。
本手法は, 計算コストの低い従来の手法よりも, 同様に, あるいはより優れた性能を示す。
論文 参考訳(メタデータ) (2024-09-18T20:23:27Z) - Deep Horseshoe Gaussian Processes [1.0742675209112622]
直交指数核を持つディープ・ガウス過程に基づく新しい単純前処理であるディープ・ホースシュー・ガウス過程(Deep Horseshoe Gaussian process)を紹介する。
本研究は、2次損失から対数係数まで、未知の真の回帰曲線を最適に復元することを示す。
論文 参考訳(メタデータ) (2024-03-04T05:30:43Z) - Neural Operator Variational Inference based on Regularized Stein
Discrepancy for Deep Gaussian Processes [23.87733307119697]
本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。
NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。
提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
論文 参考訳(メタデータ) (2023-09-22T06:56:35Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳(メタデータ) (2023-08-29T15:01:01Z) - Deep Variational Implicit Processes [0.0]
入射過程(IPs)はガウス過程(GPs)の一般化である
本稿では,DVIP(Deep Variational Implicit Process)と呼ばれるIPの多層一般化を提案する。
論文 参考訳(メタデータ) (2022-06-14T10:04:41Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent:
Convergence Guarantees and Empirical Benefits [21.353189917487512]
勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。
我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。
我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
論文 参考訳(メタデータ) (2021-11-19T22:28:47Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2021-10-26T10:45:25Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳(メタデータ) (2021-10-13T15:11:25Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - On Signal-to-Noise Ratio Issues in Variational Inference for Deep
Gaussian Processes [55.62520135103578]
重み付き変分推論を用いたDGP(Deep Gaussian Processs)の訓練で用いられる勾配推定は,信号-雑音比(SNR)問題の影響を受けやすいことを示す。
DGPモデルの予測性能が一貫した改善につながることを示す。
論文 参考訳(メタデータ) (2020-11-01T14:38:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。