論文の概要: Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees
- arxiv url: http://arxiv.org/abs/2210.07893v4
- Date: Tue, 16 Jan 2024 16:37:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 22:15:21.106073
- Title: Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees
- Title(参考訳): 被覆木を用いた最小分離による安定スパースガウス過程
- Authors: Alexander Terenin, David R. Burt, Artem Artemev, Seth Flaxman, Mark
van der Wilk, Carl Edward Rasmussen, and Hong Ge
- Abstract要約: 誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
- 参考スコア(独自算出の注目度): 57.67528738886731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian processes are frequently deployed as part of larger machine learning
and decision-making systems, for instance in geospatial modeling, Bayesian
optimization, or in latent Gaussian models. Within a system, the Gaussian
process model needs to perform in a stable and reliable manner to ensure it
interacts correctly with other parts of the system. In this work, we study the
numerical stability of scalable sparse approximations based on inducing points.
To do so, we first review numerical stability, and illustrate typical
situations in which Gaussian process models can be unstable. Building on
stability theory originally developed in the interpolation literature, we
derive sufficient and in certain cases necessary conditions on the inducing
points for the computations performed to be numerically stable. For
low-dimensional tasks such as geospatial modeling, we propose an automated
method for computing inducing points satisfying these conditions. This is done
via a modification of the cover tree data structure, which is of independent
interest. We additionally propose an alternative sparse approximation for
regression with a Gaussian likelihood which trades off a small amount of
performance to further improve stability. We provide illustrative examples
showing the relationship between stability of calculations and predictive
performance of inducing point methods on spatial tasks.
- Abstract(参考訳): ガウス過程は、地理空間モデリングやベイズ最適化、潜在ガウスモデルなど、より大きな機械学習や意思決定システムの一部として頻繁に展開される。
システム内では、ガウスのプロセスモデルがシステムの他の部分と正しく相互作用するために、安定かつ信頼性の高い方法で実行する必要がある。
本研究では,誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
そこで本研究では,まず数値安定性を考察し,ガウス過程モデルが不安定な典型例を示す。
補間文献で開発された安定性理論を基礎として, 数値的に安定な計算を行うための誘導点の条件を十分かつ必要条件として導出する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
これは、独立した関心を持つ被覆木データ構造の変更によって行われる。
さらに,少数の性能をトレードオフして安定性をさらに向上する,ガウス確率を持つ回帰に対する別のスパース近似を提案する。
本研究では,空間タスクにおける誘導点法の安定性と予測性能の関係を示す例を示す。
関連論文リスト
- Noise in the reverse process improves the approximation capabilities of
diffusion models [27.65800389807353]
生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。
我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
論文 参考訳(メタデータ) (2023-12-13T02:39:10Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳(メタデータ) (2023-07-12T19:30:04Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳(メタデータ) (2023-02-14T23:50:53Z) - Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。
我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。
提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。
派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
論文 参考訳(メタデータ) (2021-03-19T09:50:53Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳(メタデータ) (2020-11-14T01:27:32Z) - Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。
本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。
本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
論文 参考訳(メタデータ) (2020-11-09T02:51:17Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z) - Biomechanical surrogate modelling using stabilized vectorial greedy
kernel methods [0.2580765958706853]
グレディカーネル近似アルゴリズムは、スパースで正確なデータベースモデリングと関数近似の手法として成功している。
我々は、いわゆる$gamma$-restricted VKOGAを導入し、解析的性質についてコメントし、臨床応用、ヒト脊椎のモデリングから得られたデータに関する数値的評価を提示する。
論文 参考訳(メタデータ) (2020-04-27T09:38:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。