論文の概要: A Tutorial on Sparse Gaussian Processes and Variational Inference
- arxiv url: http://arxiv.org/abs/2012.13962v8
- Date: Fri, 16 Apr 2021 11:21:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-24 20:13:36.269265
- Title: A Tutorial on Sparse Gaussian Processes and Variational Inference
- Title（参考訳）: スパースガウス過程と変分推論に関するチュートリアル
- Authors: Felix Leibfried, Vincent Dutordoir, ST John, Nicolas Durrande
- Abstract要約: このチュートリアルは、GPとVIの両方で事前の知識のない読者に基本的な事項へのアクセスを提供する。
このフレームワークは、非ガウス的および非ガウス的確率の回帰から、離散ラベルによる分類問題まで、教師付き学習問題の幅広い範囲を自然に扱うことができる。
- 参考スコア（独自算出の注目度）: 12.827024991969578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian processes (GPs) provide a framework for Bayesian inference that can
offer principled uncertainty estimates for a large range of problems. For
example, if we consider regression problems with Gaussian likelihoods, a GP
model enjoys a posterior in closed form. However, identifying the posterior GP
scales cubically with the number of training examples and requires to store all
examples in memory. In order to overcome these obstacles, sparse GPs have been
proposed that approximate the true posterior GP with pseudo-training examples.
Importantly, the number of pseudo-training examples is user-defined and enables
control over computational and memory complexity. In the general case, sparse
GPs do not enjoy closed-form solutions and one has to resort to approximate
inference. In this context, a convenient choice for approximate inference is
variational inference (VI), where the problem of Bayesian inference is cast as
an optimization problem -- namely, to maximize a lower bound of the log
marginal likelihood. This paves the way for a powerful and versatile framework,
where pseudo-training examples are treated as optimization arguments of the
approximate posterior that are jointly identified together with hyperparameters
of the generative model (i.e. prior and likelihood). The framework can
naturally handle a wide scope of supervised learning problems, ranging from
regression with heteroscedastic and non-Gaussian likelihoods to classification
problems with discrete labels, but also multilabel problems. The purpose of
this tutorial is to provide access to the basic matter for readers without
prior knowledge in both GPs and VI. A proper exposition to the subject enables
also access to more recent advances (like importance-weighted VI as well as
interdomain, multioutput and deep GPs) that can serve as an inspiration for new
research ideas.
- Abstract（参考訳）: ガウス過程(GP)はベイズ推定の枠組みを提供し、様々な問題に対して原理化された不確実性推定を提供する。
例えば、ガウス的確率を持つ回帰問題を考えると、gpモデルは後続の閉形式を楽しむ。
しかしながら、後部GPの識別はトレーニング例の数と立方的にスケールし、すべての例をメモリに格納する必要がある。
これらの障害を克服するために、擬似学習例を用いて真の後方GPを近似するスパースGPが提案されている。
重要なことに、擬似トレーニングのサンプルの数はユーザ定義であり、計算とメモリの複雑さを制御できる。
一般の場合、スパースGPは閉形式解を楽しんでおらず、近似推論に頼らなければならない。
この文脈において、近似推論の便利な選択は変分推論 (vi) であり、ベイズ推論の問題は最適化問題(すなわち、ログ周縁確率の下限を最大化するために)としてキャストされる。
これは、擬似訓練の例は、生成モデルのハイパーパラメータと共同で識別される近似後段の最適化引数として扱われる、強力で多用途なフレームワークへの道を開く。
前と後)。
このフレームワークは、非ガウス的および非ガウス的確率の回帰から、離散ラベルによる分類問題まで、教師付き学習問題の幅広い範囲を自然に扱うことができる。
本チュートリアルの目的は,GP と VI の双方で事前知識のない読者に基本事項へのアクセスを提供することである。
この主題に対する適切な説明は、新しい研究アイデアのインスピレーションとなる、より最近の進歩(重要重み付きVIやドメイン間、マルチアウトプット、ディープGPなど)へのアクセスを可能にする。
関連論文リスト
- Amortized Variational Inference for Deep Gaussian Processes [0.0]
ディープガウス過程(DGP)はガウス過程(GP)の多層一般化である
本稿では,DGPに対して,各観測を変動パラメータにマッピングする推論関数を学習するアモータライズされた変分推論を導入する。
本手法は, 計算コストの低い従来の手法よりも, 同様に, あるいはより優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-18T20:23:27Z) - Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。
古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
論文 参考訳（メタデータ） (2022-06-17T19:03:04Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - Scaling Gaussian Process Optimization by Evaluating a Few Unique
Candidates Multiple Times [119.41129787351092]
GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。
GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
論文 参考訳（メタデータ） (2022-01-30T20:42:14Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳（メタデータ） (2021-11-26T06:33:29Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-10-26T10:45:25Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - On MCMC for variationally sparse Gaussian processes: A pseudo-marginal
approach [0.76146285961466]
ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。
本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
論文 参考訳（メタデータ） (2021-03-04T20:48:29Z) - The FMRIB Variational Bayesian Inference Tutorial II: Stochastic
Variational Bayes [1.827510863075184]
このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。
この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
論文 参考訳（メタデータ） (2020-07-03T11:31:52Z) - Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。
本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。
本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
論文 参考訳（メタデータ） (2020-06-18T14:24:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。