論文の概要: Amortized Variational Inference for Deep Gaussian Processes

• arxiv url: http://arxiv.org/abs/2409.12301v1
• Date: Wed, 18 Sep 2024 20:23:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 15:26:10.273546
• Title: Amortized Variational Inference for Deep Gaussian Processes
• Title（参考訳）: 深いガウス過程に対する補正変分推論
• Authors: Qiuxian Meng, Yongyou Zhang,
• Abstract要約: ディープガウス過程(DGP)はガウス過程(GP)の多層一般化である 本稿では,DGPに対して,各観測を変動パラメータにマッピングする推論関数を学習するアモータライズされた変分推論を導入する。 本手法は, 計算コストの低い従来の手法よりも, 同様に, あるいはより優れた性能を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian processes (GPs) are Bayesian nonparametric models for function approximation with principled predictive uncertainty estimates. Deep Gaussian processes (DGPs) are multilayer generalizations of GPs that can represent complex marginal densities as well as complex mappings. As exact inference is either computationally prohibitive or analytically intractable in GPs and extensions thereof, some existing methods resort to variational inference (VI) techniques for tractable approximations. However, the expressivity of conventional approximate GP models critically relies on independent inducing variables that might not be informative enough for some problems. In this work we introduce amortized variational inference for DGPs, which learns an inference function that maps each observation to variational parameters. The resulting method enjoys a more expressive prior conditioned on fewer input dependent inducing variables and a flexible amortized marginal posterior that is able to model more complicated functions. We show with theoretical reasoning and experimental results that our method performs similarly or better than previous approaches at less computational cost.
• Abstract（参考訳）: ガウス過程(英: Gaussian process、GP)は、原理化された予測の不確実性推定を伴う関数近似のベイズ非パラメトリックモデルである。 ディープ・ガウス過程(Deep Gaussian process, DGPs)は、複素境界密度と複素写像を表現できるGPの多層一般化である。 正確な推論は、GPやその拡張において計算的に禁止されるか、あるいは解析的に抽出可能であるため、既存の手法では、抽出可能な近似のための変分推論 (VI) 技術に頼っている。 しかし、従来の近似GPモデルの表現性は、いくつかの問題に対して十分な情報を持たないかもしれない独立誘導変数に批判的に依存する。 本研究では,DGPに対して,各観測を変動パラメータにマッピングする推論関数を学習するアモータライズされた変分推論を導入する。 得られた方法は、より少ない入力依存型誘導変数と、より複雑な関数をモデル化できるフレキシブルなアモータイズされた辺縁後部に基づいて、より表現力の高い事前条件を享受する。 理論的推論と実験結果から,本手法は計算コストを低く抑え,従来の手法と同等あるいは良好に動作することを示す。

関連論文リスト

• Polynomial Chaos Expanded Gaussian Process [2.287415292857564]
  複雑で未知のプロセスでは、大域的モデルは最初実験空間全体にわたって生成される。 本研究では,グローバルな実験空間とローカルな実験空間の両方を効果的に表現するモデルの必要性に対処する。
  論文  参考訳（メタデータ） (2024-05-02T07:11:05Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data [5.00301731167245]
  混合領域共分散関数に対する基底関数近似スキームを導出する。 我々は,GPモデルの精度をランタイムのごく一部で正確に近似できることを示す。 また、より小さく、より解釈可能なモデルを得るためのスケーラブルなモデルリダクションワークフローを実証する。
  論文  参考訳（メタデータ） (2021-11-03T04:47:37Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach [0.76146285961466]
  ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。 本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
  論文  参考訳（メタデータ） (2021-03-04T20:48:29Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Deep Sigma Point Processes [22.5396672566053]
  ディープガウス過程(DGP)の構成構造から着想を得たパラメトリックモデルのクラスを導入する。 ディープシグマポイントプロセス(DSPP)は、カーネル基底関数によって制御されるミニバッチトレーニングや予測不確実性を含む、(可変)DGPの魅力的な特徴の多くを保持している。
  論文  参考訳（メタデータ） (2020-02-21T03:40:35Z)
• Transport Gaussian Processes for Regression [0.22843885788439797]
  本稿では,GP,ワープGP,学生プロセスなどを含むプロセス構築手法を提案する。 私たちのアプローチはレイヤベースのモデルにインスパイアされ、各レイヤが生成されたプロセス上で特定のプロパティを変更する。 実世界のデータを用いた実験により,提案モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2020-01-30T17:44:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。