論文の概要: Computationally-efficient initialisation of GPs: The generalised variogram method

• arxiv url: http://arxiv.org/abs/2210.05394v3
• Date: Wed, 26 Apr 2023 16:20:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 18:17:23.417951
• Title: Computationally-efficient initialisation of GPs: The generalised variogram method
• Title（参考訳）: GPの計算効率の良い初期化:一般化ヴァリグラム法
• Authors: Felipe Tobar and Elsa Cazelles and Taco de Wolff
• Abstract要約: 我々の戦略は,MLトレーニングの初期条件を見つけるための事前訓練段階として利用することができる。 合成および実世界のデータを用いて,異なるカーネルに対して,精度,MLとの整合性,計算複雑性を実験的に検証する。
• 参考スコア（独自算出の注目度）: 1.0312968200748118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a computationally-efficient strategy to initialise the hyperparameters of a Gaussian process (GP) avoiding the computation of the likelihood function. Our strategy can be used as a pretraining stage to find initial conditions for maximum-likelihood (ML) training, or as a standalone method to compute hyperparameters values to be plugged in directly into the GP model. Motivated by the fact that training a GP via ML is equivalent (on average) to minimising the KL-divergence between the true and learnt model, we set to explore different metrics/divergences among GPs that are computationally inexpensive and provide hyperparameter values that are close to those found via ML. In practice, we identify the GP hyperparameters by projecting the empirical covariance or (Fourier) power spectrum onto a parametric family, thus proposing and studying various measures of discrepancy operating on the temporal and frequency domains. Our contribution extends the variogram method developed by the geostatistics literature and, accordingly, it is referred to as the generalised variogram method (GVM). In addition to the theoretical presentation of GVM, we provide experimental validation in terms of accuracy, consistency with ML and computational complexity for different kernels using synthetic and real-world data.
• Abstract（参考訳）: 本稿では,確率関数の計算を避けるために,ガウス過程(GP)のハイパーパラメータを初期化するための計算効率のよい戦略を提案する。 我々の戦略は,MLトレーニングの初期条件を見つけるための事前訓練段階として,あるいはGPモデルに直接挿入されるハイパーパラメータ値を計算するためのスタンドアロン手法として利用することができる。 実モデルと学習モデルの間のKL偏差を最小化するために, MLを用いたGPのトレーニングが(平均で)等価であるという事実に触発され, 計算コストが低く, MLで見いだされるようなハイパーパラメータ値を提供するGP間で, 異なる測度/偏差を探索することにした。 実際に,実験的共分散あるいは(フーリエ)パワースペクトルをパラメトリック・ファミリーに投影することによりGPハイパーパラメータを同定し,時間領域と周波数領域に作用する様々な誤差尺度を提案し,検討する。 本研究は,地球統計学の文献で開発された変分法を拡張し,一般化変分法 (generalized variogram method, gvm) と呼ぶ。 GVMの理論的プレゼンテーションに加えて、合成および実世界のデータを用いて、異なるカーネルに対して精度、MLとの整合性、計算複雑性に関する実験的検証を提供する。

関連論文リスト

• Amortized Variational Inference for Deep Gaussian Processes [0.0]
  ディープガウス過程(DGP)はガウス過程(GP)の多層一般化である 本稿では,DGPに対して,各観測を変動パラメータにマッピングする推論関数を学習するアモータライズされた変分推論を導入する。 本手法は, 計算コストの低い従来の手法よりも, 同様に, あるいはより優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-18T20:23:27Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits [21.353189917487512]
  勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。 我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。 我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
  論文  参考訳（メタデータ） (2021-11-19T22:28:47Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation [1.2233362977312945]
  本稿では,新しいGPハイパーパラメータ推定法であるMuyGPを提案する。 MuyGPsは、データの最も近い隣人構造を利用する事前のメソッドの上に構築される。 提案手法は, 解法と予測値の平均二乗誤差の両方において, 既知の競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-29T18:10:21Z)
• On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach [0.76146285961466]
  ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。 本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
  論文  参考訳（メタデータ） (2021-03-04T20:48:29Z)
• Gaussian Process Latent Class Choice Models [7.992550355579791]
  離散選択モデル(DCM)における確率的機械学習の非パラメトリッククラスを提案する。 提案モデルでは,GPを用いた行動同質クラスタ(ラテントクラス)に確率的に個人を割り当てる。 モデルは2つの異なるモード選択アプリケーションでテストされ、異なるLCCMベンチマークと比較される。
  論文  参考訳（メタデータ） (2021-01-28T19:56:42Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。