論文の概要: Marginalised Gaussian Processes with Nested Sampling

• arxiv url: http://arxiv.org/abs/2010.16344v2
• Date: Fri, 19 Nov 2021 17:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 16:19:00.400277
• Title: Marginalised Gaussian Processes with Nested Sampling
• Title（参考訳）: ネストサンプリングを伴う限界化ガウス過程
• Authors: Fergus Simpson, Vidhi Lalchand, Carl Edward Rasmussen
• Abstract要約: ガウス過程(GP)モデルは、カーネル関数によって制御される帰納バイアスを持つ関数上の豊富な分布である。 本研究は,Nested Smpling (NS) を用いてカーネル関数のハイパーパラメータを疎外する学習手法を提案する。
• 参考スコア（独自算出の注目度）: 10.495114898741203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian Process (GPs) models are a rich distribution over functions with inductive biases controlled by a kernel function. Learning occurs through the optimisation of kernel hyperparameters using the marginal likelihood as the objective. This classical approach known as Type-II maximum likelihood (ML-II) yields point estimates of the hyperparameters, and continues to be the default method for training GPs. However, this approach risks underestimating predictive uncertainty and is prone to overfitting especially when there are many hyperparameters. Furthermore, gradient based optimisation makes ML-II point estimates highly susceptible to the presence of local minima. This work presents an alternative learning procedure where the hyperparameters of the kernel function are marginalised using Nested Sampling (NS), a technique that is well suited to sample from complex, multi-modal distributions. We focus on regression tasks with the spectral mixture (SM) class of kernels and find that a principled approach to quantifying model uncertainty leads to substantial gains in predictive performance across a range of synthetic and benchmark data sets. In this context, nested sampling is also found to offer a speed advantage over Hamiltonian Monte Carlo (HMC), widely considered to be the gold-standard in MCMC based inference.
• Abstract（参考訳）: ガウス過程(GP)モデルは、カーネル関数によって制御される帰納バイアスを持つ関数上の豊富な分布である。 学習は、限界確率を目的とするカーネルハイパーパラメータの最適化を通じて行われる。 type-iimaximum likelihood(ml-ii)として知られるこの古典的なアプローチはハイパーパラメータのポイント推定をもたらし、gpsのトレーニングのデフォルトとなっている。 しかし、このアプローチは予測の不確実性を過小評価するリスクがあり、特に多くのハイパーパラメータが存在する場合、過度に適合する傾向にある。 さらに、勾配に基づく最適化により、ML-II点推定は局所ミニマの存在に非常に影響を受けやすい。 本稿では,複雑なマルチモーダル分布からのサンプルに適した手法であるnested sampling (ns) を用いて,カーネル関数のハイパーパラメータを限界化する方法を提案する。 我々は,スペクトル混合(SM)クラスを用いた回帰タスクに着目し,モデル不確実性を定量化するための原則的アプローチが,合成およびベンチマークデータセットの範囲で予測性能を大幅に向上させることを示した。 この文脈では、ネストサンプリングはハミルトニアンモンテカルロ(英語版)(hmc)よりも高速に有利であり、mcmcに基づく推論では金本位制と広く考えられている。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Sparse Gaussian Process Hyperparameters: Optimize or Integrate? [5.949779668853556]
  本稿では, MCMC をハイパーパラメーター後部から試料として用いたスパースガウス過程回帰法を提案する。 本稿では,文学における自然ベースラインと変分GP(SVGP)とを,広範な計算解析とともに比較する。
  論文  参考訳（メタデータ） (2022-11-04T14:06:59Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Learning Nonparametric Volterra Kernels with Gaussian Processes [0.0]
  本稿では、ガウス過程(GP)を用いて表現されたカーネルを持つボルテラ級数を用いて、非線形作用素の非パラメトリックベイズ学習法を提案する。 NVKMは、演算子への入力関数が観測されず、GP先行を持つとき、単出力と多重出力の両方の回帰のための強力な方法を構成し、非線形および非パラメトリック潜在力モデルと見なすことができる。
  論文  参考訳（メタデータ） (2021-06-10T08:21:00Z)
• On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach [0.76146285961466]
  ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。 本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
  論文  参考訳（メタデータ） (2021-03-04T20:48:29Z)
• Gaussian Process Latent Class Choice Models [7.992550355579791]
  離散選択モデル(DCM)における確率的機械学習の非パラメトリッククラスを提案する。 提案モデルでは,GPを用いた行動同質クラスタ(ラテントクラス)に確率的に個人を割り当てる。 モデルは2つの異なるモード選択アプリケーションでテストされ、異なるLCCMベンチマークと比較される。
  論文  参考訳（メタデータ） (2021-01-28T19:56:42Z)
• Approximate Inference for Fully Bayesian Gaussian Process Regression [11.47317712333228]
  ガウス過程モデルにおける学習は、平均と共分散関数のハイパーパラメータの適応を通じて起こる。 textitFully Bayesian Process Regression (GPR) と呼ぶGPの階層的仕様において、後方超過パラメータを推論する別の学習方法がある。 ベンチマークデータセットを用いてベイズGPRの予測性能を解析する。
  論文  参考訳（メタデータ） (2019-12-31T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。