論文の概要: Geometry-Aware Block Selection for Sparse Variational Gaussian Processes

• arxiv url: http://arxiv.org/abs/2610.28256v1
• Date: Tue, 20 Oct 2026 14:12:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.841764
• Title: Geometry-Aware Block Selection for Sparse Variational Gaussian Processes
• Title（参考訳）: 特異な変分ガウス過程に対する幾何学的ブロック選択
• Abstract要約: スパース変分ガウス過程(SVGP)は、スケーラブルガウス過程モデリングにおいて広く使われ、原則化されたアプローチである。 最近の研究で、後部条件分布の修正が検討されている。 二重化最適化フレームワークを用いて、これらのモデルをトレーニングする方法を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse variational Gaussian processes (SVGPs) are a widely used, principled approach to scalable Gaussian process modelling. Their success stems from their theoretically interpretable structure: they provide a lower bound on the marginal likelihood of the full GP while allowing scal- able stochastic optimization. Recent work has explored modifications of the posterior conditional distribution and has shown that such extensions can improve upon this well-established framework. In particular, introducing a block-diagonal structured scal- ing matrix leads to a tighter lower bound on the GP marginal likelihood. We investigate whether selecting blocks that tighten the variational objective improves test RMSE and NLL at a fixed inducing-point budget. Since the scaling matrix contributes to the variational lower bound through an upper bound on the log-determinant of the full residual covariance matrix, our work makes the following contributions. First, we introduce a simple, scalable, geometry-aware algorithm, with explicit computational complexity and low computational overhead, that recovers a large fraction of this log- determinant contribution by selecting an appropriate partition of the data. Second, we show how to train these models using a doubly stochastic optimization framework. Finally, we investigate how sparse GP methods based on alternative conditional posterior structures can be used to learn better hyperparameters and inducing points for SVGP.
• Abstract（参考訳）: スパース変分ガウス過程(SVGP)は、スケーラブルガウス過程モデリングにおいて広く使われ、原則化されたアプローチである。 それらの成功は理論上解釈可能な構造から来ており、全GPの辺りの確率を低く抑えつつ、頭皮の確率的最適化を可能にしている。 最近の研究は、後続条件分布の修正について検討しており、このような拡張がこの確立された枠組みで改善できることが示されている。 特に、ブロック対角構造を持つ頭皮加工行列を導入すると、GP辺の確率がより小さくなる。 変動目標を狭めるブロックの選択が、固定誘導点予算におけるRMSEとNLLのテストを改善するかどうかを検討する。 スケーリング行列は、全剰余共分散行列の対数行列上の上界を通る変分下界に寄与するので、以下に示す。 まず、計算複雑性と計算オーバーヘッドの少ない単純でスケーラブルな幾何認識アルゴリズムを導入し、データの適切なパーティションを選択することで、このログ決定型コントリビューションの大部分を復元する。 次に,2つの確率的最適化フレームワークを用いて,これらのモデルをトレーニングする方法を示す。 最後に,代替条件付き後続構造に基づくスパースGP法を用いて,より優れたハイパーパラメータを学習し,SVGPの点を誘導する方法について検討する。

関連論文リスト

• Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices [5.518484221206969]
  この作業は、スケーラブルかつ正確な適応型マルチレゾリューション・ガウス・プロセス・フレームワークを提供することによってギャップを埋める。 マルチレゾリューションベースでサポートドメインを縮小することにより、マトリックスブロックサイズが制限され、スパシティが保証される。 理論的解析と数値実験により,我々のモデルは,$mathcalO(n log2 n)$トレーニングコストと$mathcalO(logd n)$予測コストで正確な推論を行うことを示した。
  論文  参考訳（メタデータ） (2026-09-24T14:14:37Z)
• Inverse-Free Sparse Variational Gaussian Processes [24.916660624139638]
  スパース変分GP近似のドロップイン置換を提案する。 提案手法は従来の手法と類似した性能を回復し,順調に調整された場合のベースラインよりも高速であることを示す。
  論文  参考訳（メタデータ） (2026-04-01T09:53:04Z)
• Sparse Gaussian Processes: Structured Approximations and Power-EP Revisited [9.83722115577313]
  点ベースのスパース変動ガウス過程は、GPモデルのスケールアップのための標準ワークホースとなっている。 近年の進歩は, 条件付き後部密度に斜めスケーリング行列を導入することにより, これらの手法を改良できることを示唆している。 本稿ではまず,スケーリング行列のブロック対角構造を用いた拡張について考察する。
  論文  参考訳（メタデータ） (2025-07-03T07:18:54Z)
• Decomposed Global Optimization for Robust Point Matching with Low-Dimensional Branching [41.05165517541873]
  部分重なり合う点集合を整列する新しい大域的最適化手法を提案する。 本手法は非剛性変形, 位置雑音, 外れ値に優れた強靭性を示す。 2次元および3次元合成および実世界のデータを用いた実験により,本手法は最先端の手法と比較して,外れ値に対して優れた強靭性を示すことが示された。
  論文  参考訳（メタデータ） (2024-05-14T13:28:57Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Sparse Cholesky Factorization for Solving Nonlinear PDEs via Gaussian Processes [3.750429354590631]
  本稿では、高密度カーネル行列に対するスパースColesky分解アルゴリズムを提案する。 我々は, 幅広い非線形PDEのクラスに対して, アルゴリズムのニア線形空間/時間複雑性を数値的に説明する。
  論文  参考訳（メタデータ） (2023-04-03T18:35:28Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。