論文の概要: Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data
- arxiv url: http://arxiv.org/abs/2111.02019v2
- Date: Fri, 6 Sep 2024 09:06:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 21:24:12.290767
- Title: Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data
- Title(参考訳): 拡張性混合領域ガウス過程モデリングと長手データのためのモデル縮小
- Authors: Juho Timonen, Harri Lähdesmäki,
- Abstract要約: 混合領域共分散関数に対する基底関数近似スキームを導出する。
我々は,GPモデルの精度をランタイムのごく一部で正確に近似できることを示す。
また、より小さく、より解釈可能なモデルを得るためのスケーラブルなモデルリダクションワークフローを実証する。
- 参考スコア(独自算出の注目度): 5.00301731167245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian process (GP) models that combine both categorical and continuous input variables have found use in longitudinal data analysis of and computer experiments. However, standard inference for these models has the typical cubic scaling, and common scalable approximation schemes for GPs cannot be applied since the covariance function is non-continuous. In this work, we derive a basis function approximation scheme for mixed-domain covariance functions, which scales linearly with respect to the number of observations and total number of basis functions. The proposed approach is naturally applicable to also Bayesian GP regression with discrete observation models. We demonstrate the scalability of the approach and compare model reduction techniques for additive GP models in a longitudinal data context. We confirm that we can approximate the exact GP model accurately in a fraction of the runtime compared to fitting the corresponding exact model. In addition, we demonstrate a scalable model reduction workflow for obtaining smaller and more interpretable models when dealing with a large number of candidate predictors.
- Abstract(参考訳): 分類型と連続型の両方の入力変数を組み合わせたガウス過程(GP)モデルは、縦方向のデータ解析や計算機実験で使われている。
しかし、これらのモデルに対する標準的な推論は典型的な3次スケーリングを持ち、共分散関数が非連続であるため、GPに対する一般的なスケーラブルな近似スキームは適用できない。
本研究では,混合領域共分散関数の基底関数近似法を導出し,観測数や基底関数の総数に対して線形にスケールする。
提案手法は離散観測モデルを用いたベイズGP回帰にも自然に適用可能である。
提案手法のスケーラビリティを実演し、長手データコンテキストにおける加法GPモデルのモデル削減手法の比較を行う。
我々は、対応する正確なモデルに適合するよりも、実行時のごく一部で正確なGPモデルを正確に近似できることを確認した。
さらに、多数の候補予測器を扱う際に、より小さく、より解釈可能なモデルを得るためのスケーラブルなモデル縮小ワークフローを実証する。
関連論文リスト
- Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。
これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
論文 参考訳(メタデータ) (2024-03-03T04:21:21Z) - Non-Gaussian Process Regression [0.0]
我々はGPフレームワークを時間変化したGPの新たなクラスに拡張し、重い尾の非ガウス的振る舞いの簡単なモデリングを可能にする。
このモデルに対するマルコフ連鎖モンテカルロ推論手順を示し、潜在的な利点を実証する。
論文 参考訳(メタデータ) (2022-09-07T13:08:22Z) - Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。
古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
論文 参考訳(メタデータ) (2022-06-17T19:03:04Z) - Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
ガウスのプロセスはデータセットのサイズとともに違法にスケールする。
多くの近似法が開発されており、必然的に近似誤差を導入している。
この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。
本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
論文 参考訳(メタデータ) (2022-05-30T22:16:25Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2021-10-26T10:45:25Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Collaborative Nonstationary Multivariate Gaussian Process Model [2.362467745272567]
我々は、協調非定常ガウス過程モデル(CNMGP)と呼ばれる新しいモデルを提案する。
CNMGPは、出力が共通の入力セットを共有していないデータを、入力と出力のサイズに依存しない計算複雑性でモデル化することができる。
また,本モデルでは,出力毎に異なる時間変化相関を推定し,予測性能の向上を図っている。
論文 参考訳(メタデータ) (2021-06-01T18:25:22Z) - On MCMC for variationally sparse Gaussian processes: A pseudo-marginal
approach [0.76146285961466]
ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。
本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
論文 参考訳(メタデータ) (2021-03-04T20:48:29Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z) - Transport Gaussian Processes for Regression [0.22843885788439797]
本稿では,GP,ワープGP,学生プロセスなどを含むプロセス構築手法を提案する。
私たちのアプローチはレイヤベースのモデルにインスパイアされ、各レイヤが生成されたプロセス上で特定のプロパティを変更する。
実世界のデータを用いた実験により,提案モデルの有効性を検証した。
論文 参考訳(メタデータ) (2020-01-30T17:44:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。