論文の概要: Fully Bayesian inference for latent variable Gaussian process models

• arxiv url: http://arxiv.org/abs/2211.02218v2
• Date: Sun, 19 Mar 2023 23:14:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 02:26:03.084862
• Title: Fully Bayesian inference for latent variable Gaussian process models
• Title（参考訳）: 潜在変数ガウス過程モデルに対する完全ベイズ推定
• Authors: Suraj Yerramilli, Akshay Iyer, Wei Chen, Daniel W. Apley
• Abstract要約: 潜伏変数ガウス過程(LVGP)は、まず各定性的因子を下層の潜伏変数(LV)にマッピングすることで問題を克服する 我々は,LVGPモデルに対する完全ベイズ的アプローチを開発し,LVによる定性的入力の効果を可視化する。 いくつかの工学モデルと材料設計応用について,プラグイン推論と完全ベイズ推論を比較した数値的研究を行った。
• 参考スコア（独自算出の注目度）: 8.853396368920846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real engineering and scientific applications often involve one or more qualitative inputs. Standard Gaussian processes (GPs), however, cannot directly accommodate qualitative inputs. The recently introduced latent variable Gaussian process (LVGP) overcomes this issue by first mapping each qualitative factor to underlying latent variables (LVs), and then uses any standard GP covariance function over these LVs. The LVs are estimated similarly to the other GP hyperparameters through maximum likelihood estimation, and then plugged into the prediction expressions. However, this plug-in approach will not account for uncertainty in estimation of the LVs, which can be significant especially with limited training data. In this work, we develop a fully Bayesian approach for the LVGP model and for visualizing the effects of the qualitative inputs via their LVs. We also develop approximations for scaling up LVGPs and fully Bayesian inference for the LVGP hyperparameters. We conduct numerical studies comparing plug-in inference against fully Bayesian inference over a few engineering models and material design applications. In contrast to previous studies on standard GP modeling that have largely concluded that a fully Bayesian treatment offers limited improvements, our results show that for LVGP modeling it offers significant improvements in prediction accuracy and uncertainty quantification over the plug-in approach.
• Abstract（参考訳）: 実際の工学と科学の応用は、しばしば1つ以上の定性的な入力を含む。 しかし、標準ガウス過程(GP)は、定性的入力を直接対応できない。 最近導入された潜伏変数ガウス過程(LVGP)は、まず各定性的因子を下層の潜伏変数(LV)にマッピングし、次にこれらのLV上の標準GP共分散関数を使用することによってこの問題を克服する。 lvsは他のgpハイパーパラメータと同様に最大確率推定によって推定され、予測式に挿入される。 しかし、このプラグインアプローチは、特に限られたトレーニングデータにおいて重要なLVの推定の不確実性を考慮していない。 本研究では,LVGPモデルに対する完全ベイズ的アプローチを開発し,LVによる定性的入力の効果を可視化する。 また、LVGPハイパーパラメータに対するLVGPのスケールアップとベイズ推定の完全な近似も開発した。 いくつかの工学モデルと材料設計応用について,プラグイン推論と完全ベイズ推論を比較した数値的研究を行った。 従来の標準GPモデリングでは,完全ベイズ処理が限定的な改善をもたらすという結論が得られたが,LVGPモデリングでは,プラグインアプローチによる予測精度と不確かさの定量化が大幅に改善されている。

関連論文リスト

• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Computationally-efficient initialisation of GPs: The generalised variogram method [1.0312968200748118]
  我々の戦略は,MLトレーニングの初期条件を見つけるための事前訓練段階として利用することができる。 合成および実世界のデータを用いて,異なるカーネルに対して,精度,MLとの整合性,計算複雑性を実験的に検証する。
  論文  参考訳（メタデータ） (2022-10-11T12:13:21Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Latent Map Gaussian Processes for Mixed Variable Metamodeling [0.0]
  GPの魅力的な特性を継承するが、混合データにも適用できる潜在写像ガウス過程(LMGP)を導入する。 LMGPは可変長入力を処理でき、定性的入力が応答にどのように影響するか、相互に相互作用するかについての洞察を提供する。 また, LMGPのニューラルネットワーク解釈を行い, 先行潜時表現が性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2021-02-07T22:21:53Z)
• On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes [55.62520135103578]
  重み付き変分推論を用いたDGP(Deep Gaussian Processs)の訓練で用いられる勾配推定は,信号-雑音比(SNR)問題の影響を受けやすいことを示す。 DGPモデルの予測性能が一貫した改善につながることを示す。
  論文  参考訳（メタデータ） (2020-11-01T14:38:02Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
  変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。 この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
  論文  参考訳（メタデータ） (2020-03-06T08:53:18Z)
• Deep Sigma Point Processes [22.5396672566053]
  ディープガウス過程(DGP)の構成構造から着想を得たパラメトリックモデルのクラスを導入する。 ディープシグマポイントプロセス(DSPP)は、カーネル基底関数によって制御されるミニバッチトレーニングや予測不確実性を含む、(可変)DGPの魅力的な特徴の多くを保持している。
  論文  参考訳（メタデータ） (2020-02-21T03:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。