論文の概要: Sparse Gaussian Process Hyperparameters: Optimize or Integrate?

• arxiv url: http://arxiv.org/abs/2211.02476v1
• Date: Fri, 4 Nov 2022 14:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 16:26:16.706727
• Title: Sparse Gaussian Process Hyperparameters: Optimize or Integrate?
• Title（参考訳）: スパースガウスプロセスハイパーパラメータ:最適化か統合か?
• Authors: Vidhi Lalchand, Wessel P. Bruinsma, David R. Burt, Carl E. Rasmussen
• Abstract要約: 本稿では, MCMC をハイパーパラメーター後部から試料として用いたスパースガウス過程回帰法を提案する。 本稿では,文学における自然ベースラインと変分GP(SVGP)とを,広範な計算解析とともに比較する。
• 参考スコア（独自算出の注目度）: 5.949779668853556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The kernel function and its hyperparameters are the central model selection choice in a Gaussian proces (Rasmussen and Williams, 2006). Typically, the hyperparameters of the kernel are chosen by maximising the marginal likelihood, an approach known as Type-II maximum likelihood (ML-II). However, ML-II does not account for hyperparameter uncertainty, and it is well-known that this can lead to severely biased estimates and an underestimation of predictive uncertainty. While there are several works which employ a fully Bayesian characterisation of GPs, relatively few propose such approaches for the sparse GPs paradigm. In this work we propose an algorithm for sparse Gaussian process regression which leverages MCMC to sample from the hyperparameter posterior within the variational inducing point framework of Titsias (2009). This work is closely related to Hensman et al. (2015b) but side-steps the need to sample the inducing points, thereby significantly improving sampling efficiency in the Gaussian likelihood case. We compare this scheme against natural baselines in literature along with stochastic variational GPs (SVGPs) along with an extensive computational analysis.
• Abstract（参考訳）: 核関数とそのハイパーパラメータは、ガウスの散文(rasmussen and williams, 2006)におけるモデル選択の中心的な選択肢である。 通常、カーネルのハイパーパラメータは、タイプIIの最大可能性 (ML-II) と呼ばれるアプローチを最大化することで選択される。 しかし、ML-IIはハイパーパラメータの不確かさを考慮せず、これは非常に偏りのある推定と予測の不確かさの過小評価につながることが知られている。 GPの完全ベイズ的特徴付けを利用する著作はいくつかあるが、スパースGPのパラダイムに対してそのようなアプローチを提案するものは比較的少ない。 本研究では,titsias(2009)の変分誘導点の枠組みにおいて,mcmcを後方のハイパーパラメータからサンプル化する疎ガウス過程回帰アルゴリズムを提案する。 この研究は Hensman et al. (2015b) と密接に関連しているが、誘導点を標本化する必要が生じるため、ガウス確率の場合のサンプリング効率は大幅に向上する。 本手法を文献の自然ベースラインと確率的変分gps(svgps)を比較し,広範な計算解析を行った。

関連論文リスト

• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization [0.0]
  本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
  論文  参考訳（メタデータ） (2022-09-22T19:23:37Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach [0.76146285961466]
  ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。 本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
  論文  参考訳（メタデータ） (2021-03-04T20:48:29Z)
• Gaussian Process Latent Class Choice Models [7.992550355579791]
  離散選択モデル(DCM)における確率的機械学習の非パラメトリッククラスを提案する。 提案モデルでは,GPを用いた行動同質クラスタ(ラテントクラス)に確率的に個人を割り当てる。 モデルは2つの異なるモード選択アプリケーションでテストされ、異なるLCCMベンチマークと比較される。
  論文  参考訳（メタデータ） (2021-01-28T19:56:42Z)
• Marginalised Gaussian Processes with Nested Sampling [10.495114898741203]
  ガウス過程(GP)モデルは、カーネル関数によって制御される帰納バイアスを持つ関数上の豊富な分布である。 本研究は,Nested Smpling (NS) を用いてカーネル関数のハイパーパラメータを疎外する学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-30T16:04:35Z)
• Approximate Inference for Fully Bayesian Gaussian Process Regression [11.47317712333228]
  ガウス過程モデルにおける学習は、平均と共分散関数のハイパーパラメータの適応を通じて起こる。 textitFully Bayesian Process Regression (GPR) と呼ぶGPの階層的仕様において、後方超過パラメータを推論する別の学習方法がある。 ベンチマークデータセットを用いてベイズGPRの予測性能を解析する。
  論文  参考訳（メタデータ） (2019-12-31T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。