論文の概要: Tighter sparse variational Gaussian processes

• arxiv url: http://arxiv.org/abs/2502.04750v2
• Date: Thu, 13 Feb 2025 13:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:22.009129
• Title: Tighter sparse variational Gaussian processes
• Title（参考訳）: 厳密なスパース変分ガウス過程
• Authors: Thang D. Bui, Matthew Ashman, Richard E. Turner,
• Abstract要約: Sparse variational Gaussian process (GP) 近似は、GPを大規模データセットにスケーリングするデファクトスタンダードとなっている。 本稿では、誘導点に与えられた条件的近似後続が前と一致しなければならないという標準仮定を緩和することにより、より厳密な変分近似を導入する。
• 参考スコア（独自算出の注目度）: 22.290236192353316
• License:
• Abstract: Sparse variational Gaussian process (GP) approximations based on inducing points have become the de facto standard for scaling GPs to large datasets, owing to their theoretical elegance, computational efficiency, and ease of implementation. This paper introduces a provably tighter variational approximation by relaxing the standard assumption that the conditional approximate posterior given the inducing points must match that in the prior. The key innovation is to modify the conditional posterior to have smaller variances than that of the prior at the training points. We derive the collapsed bound for the regression case, describe how to use the proposed approximation in large data settings, and discuss its application to handle orthogonally structured inducing points and GP latent variable models. Extensive experiments on regression benchmarks, classification, and latent variable models demonstrate that the proposed approximation consistently matches or outperforms standard sparse variational GPs while maintaining the same computational cost. An implementation will be made available in all popular GP packages.
• Abstract（参考訳）: インジェクションポイントに基づくスパース変分ガウス過程(GP)近似は、その理論的エレガンス、計算効率、実装の容易さにより、GPを大規模データセットにスケーリングするデファクトスタンダードとなっている。 本稿では、誘導点に与えられた条件的近似後続が前と一致しなければならないという標準仮定を緩和することにより、より厳密な変分近似を導入する。 鍵となる革新は、条件付き後部をトレーニングポイントにおける前部よりも小さなばらつきを持つように修正することである。 本稿では、回帰の場合の崩壊境界を導出し、提案した近似を大規模データ設定でどのように使うかを説明し、直交的に構造化された誘導点とGP潜在変数モデルを扱うためのその応用について論じる。 回帰ベンチマーク、分類、潜在変数モデルに関する大規模な実験は、提案した近似が同じ計算コストを維持しながら標準のスパース変分GPと一貫して一致し、性能を上回っていることを示した。 実装は、すべての人気のあるGPパッケージで利用可能になる。

関連論文リスト

• Deep Transformed Gaussian Processes [0.0]
  変換ガウス過程(英: Transformed Gaussian Processs、TGP)は、可逆変換を用いて、前者のプロセス(典型的にはGP)からサンプルを共分散から変換することによって定義される過程である。 本稿では,プロセスの階層化の傾向に従い,DTGP(Deep Transformed Gaussian Processs)と呼ばれるTGPの一般化を提案する。 実験では、提案したDTGPを複数の回帰データセットで評価し、優れたスケーラビリティと性能を実現した。
  論文  参考訳（メタデータ） (2023-10-27T16:09:39Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Robust Gaussian Process Regression Based on Iterative Trimming [6.912744078749024]
  本稿では、最も極端なデータポイントを反復的にトリムする、新しい頑健なGP回帰アルゴリズムを提案する。 極端または豊富な外れ値が存在する場合でも、汚染されたデータのモデル精度を大幅に向上させることができる。 天体物理学的な研究の実践例として、星団の色-マグニチュード図の主系列尾根線を正確に決定できることが示されている。
  論文  参考訳（メタデータ） (2020-11-22T16:43:35Z)
• Scalable Gaussian Process Variational Autoencoders [17.345687261000045]
  本稿では,実行時およびメモリフットプリントの観点から既存手法より優れた拡張性を持つGP-VAEモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-26T10:26:02Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)
• Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
  変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。 この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
  論文  参考訳（メタデータ） (2020-03-06T08:53:18Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Robust Gaussian Process Regression with a Bias Model [0.6850683267295248]
  既存のほとんどのアプローチは、重い尾の分布から誘導される非ガウス的確率に、外れやすいガウス的確率を置き換えるものである。 提案手法は、未知の回帰関数の雑音および偏りの観測として、外れ値をモデル化する。 バイアス推定に基づいて、ロバストなGP回帰を標準のGP回帰問題に還元することができる。
  論文  参考訳（メタデータ） (2020-01-14T06:21:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。