論文の概要: Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization

• arxiv url: http://arxiv.org/abs/2209.11280v1
• Date: Thu, 22 Sep 2022 19:23:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 13:54:43.749324
• Title: Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization
• Title（参考訳）: カバレッジ正規化によるスケーラブルガウスプロセスハイパーパラメータ最適化
• Authors: Killian Wood, Alec M. Dunton, Amanda Muyskens, Benjamin W. Priest
• Abstract要約: 本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes (GPs) are Bayesian non-parametric models popular in a variety of applications due to their accuracy and native uncertainty quantification (UQ). Tuning GP hyperparameters is critical to ensure the validity of prediction accuracy and uncertainty; uniquely estimating multiple hyperparameters in, e.g. the Matern kernel can also be a significant challenge. Moreover, training GPs on large-scale datasets is a highly active area of research: traditional maximum likelihood hyperparameter training requires quadratic memory to form the covariance matrix and has cubic training complexity. To address the scalable hyperparameter tuning problem, we present a novel algorithm which estimates the smoothness and length-scale parameters in the Matern kernel in order to improve robustness of the resulting prediction uncertainties. Using novel loss functions similar to those in conformal prediction algorithms in the computational framework provided by the hyperparameter estimation algorithm MuyGPs, we achieve improved UQ over leave-one-out likelihood maximization while maintaining a high degree of scalability as demonstrated in numerical experiments.
• Abstract（参考訳）: ガウス過程(英: Gaussian process、GP)は、ベイズ非パラメトリックモデルであり、その正確さとネイティブ不確実性定量化(UQ)のために様々な用途で人気がある。 GPハイパーパラメータのチューニングは、予測精度と不確実性の妥当性を保証するために重要である。 さらに、大規模データセット上でのGPのトレーニングは、非常に活発な研究領域であり、従来の最大極大ハイパーパラメータトレーニングでは、共分散行列を形成するために二次記憶を必要とする。 拡張性のあるハイパーパラメータチューニング問題に対処するため,予測の不確実性の堅牢性を改善するために,Maternカーネルのスムーズネスと長大パラメータを推定するアルゴリズムを提案する。 超パラメータ推定アルゴリズムmuygpsによる計算フレームワークにおける共形予測アルゴリズムと類似した新しい損失関数を用いて、数値実験で示されるような高い拡張性を維持しつつ、残余の最大化よりもuqを改善した。

関連論文リスト

• An adaptively inexact first-order method for bilevel optimization with application to hyperparameter learning [2.247833425312671]
  提案アルゴリズムは,実行前に手動で選択するよりも,必要な精度を動的に決定する。 我々の実験は、画像とデータサイエンスにおける様々な問題に対して、我々のアプローチの効率性と実現可能性を示すものである。
  論文  参考訳（メタデータ） (2023-08-19T19:58:05Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Sparse Gaussian Process Hyperparameters: Optimize or Integrate? [5.949779668853556]
  本稿では, MCMC をハイパーパラメーター後部から試料として用いたスパースガウス過程回帰法を提案する。 本稿では,文学における自然ベースラインと変分GP(SVGP)とを,広範な計算解析とともに比較する。
  論文  参考訳（メタデータ） (2022-11-04T14:06:59Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Noise Estimation in Gaussian Process Regression [1.5002438468152661]
  提案手法は, 相関誤差の分散と雑音の分散を, 限界確率関数の最大化に基づいて推定することができる。 従来のパラメータ最適化と比較して,提案手法の計算上の利点とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-06-20T19:36:03Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。