論文の概要: Sparse Gaussian Processes: Structured Approximations and Power-EP Revisited

• arxiv url: http://arxiv.org/abs/2507.02377v1
• Date: Thu, 03 Jul 2025 07:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:15.788228
• Title: Sparse Gaussian Processes: Structured Approximations and Power-EP Revisited
• Title（参考訳）: スパースガウス過程:構造化近似とパワー-EP再検討
• Authors: Thang D. Bui, Michalis K. Titsias,
• Abstract要約: 点ベースのスパース変動ガウス過程は、GPモデルのスケールアップのための標準ワークホースとなっている。 近年の進歩は, 条件付き後部密度に斜めスケーリング行列を導入することにより, これらの手法を改良できることを示唆している。 本稿ではまず,スケーリング行列のブロック対角構造を用いた拡張について考察する。
• 参考スコア（独自算出の注目度）: 9.83722115577313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inducing-point-based sparse variational Gaussian processes have become the standard workhorse for scaling up GP models. Recent advances show that these methods can be improved by introducing a diagonal scaling matrix to the conditional posterior density given the inducing points. This paper first considers an extension that employs a block-diagonal structure for the scaling matrix, provably tightening the variational lower bound. We then revisit the unifying framework of sparse GPs based on Power Expectation Propagation (PEP) and show that it can leverage and benefit from the new structured approximate posteriors. Through extensive regression experiments, we show that the proposed block-diagonal approximation consistently performs similarly to or better than existing diagonal approximations while maintaining comparable computational costs. Furthermore, the new PEP framework with structured posteriors provides competitive performance across various power hyperparameter settings, offering practitioners flexible alternatives to standard variational approaches.
• Abstract（参考訳）: 点ベースのスパース変動ガウス過程は、GPモデルのスケールアップのための標準ワークホースとなっている。 近年の進歩は、誘導点が与えられた条件付き後続密度に対角スケーリング行列を導入することにより、これらの手法を改善することができることを示している。 本稿ではまず,スケーリング行列のブロック対角構造を用いた拡張について考察する。 次に、PEP(Power expectation Propagation)に基づくスパースGPの一元化フレームワークを再検討し、新たに構築された近似後縁の利点を活用・活用できることを示す。 大規模な回帰実験により,提案したブロック対角近似は,計算コストを抑えつつ,既存の対角近似と同等あるいは同等に動作することを示す。 さらに、構造化後部を持つ新しいPEPフレームワークは、様々なパワーハイパーパラメータ設定にまたがる競争性能を提供し、標準的な変分アプローチに代わる柔軟な代替手段を提供する。

関連論文リスト

• Tighter sparse variational Gaussian processes [22.290236192353316]
  Sparse variational Gaussian process (GP) 近似は、GPを大規模データセットにスケーリングするデファクトスタンダードとなっている。 本稿では、誘導点に与えられた条件的近似後続が前と一致しなければならないという標準仮定を緩和することにより、より厳密な変分近似を導入する。
  論文  参考訳（メタデータ） (2025-02-07T08:33:28Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Convolutional Normalizing Flows for Deep Gaussian Processes [40.10797051603641]
  本稿では、柔軟で任意に複雑でスケーラブルな後方分布を特定するための新しいアプローチを提案する。 新しい畳み込み正規化フロー(CNF)が開発され、時間効率を改善し、層間の依存性を捉える。 経験的評価は、CNF DGPがDGPの最先端近似法より優れていることを示している。
  論文  参考訳（メタデータ） (2021-04-17T07:25:25Z)
• Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
  変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。 この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
  論文  参考訳（メタデータ） (2020-03-06T08:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。