論文の概要: Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees
- arxiv url: http://arxiv.org/abs/2210.07893v1
- Date: Fri, 14 Oct 2022 15:20:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 15:30:39.934228
- Title: Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees
- Title(参考訳): 被覆木を用いた最小分離による安定スパースガウス過程
- Authors: Alexander Terenin, David R. Burt, Artem Artemev, Seth Flaxman, Mark
van der Wilk, Carl Edward Rasmussen, and Hong Ge
- Abstract要約: 誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
- 参考スコア(独自算出の注目度): 76.21206343811568
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As Gaussian processes mature, they are increasingly being deployed as part of
larger machine learning and decision-making systems, for instance in geospatial
modeling, Bayesian optimization, or in latent Gaussian models. Within a system,
the Gaussian process model needs to perform in a stable and reliable manner to
ensure it interacts correctly with other parts the system. In this work, we
study the numerical stability of scalable sparse approximations based on
inducing points. We derive sufficient and in certain cases necessary conditions
on the inducing points for the computations performed to be numerically stable.
For low-dimensional tasks such as geospatial modeling, we propose an automated
method for computing inducing points satisfying these conditions. This is done
via a modification of the cover tree data structure, which is of independent
interest. We additionally propose an alternative sparse approximation for
regression with a Gaussian likelihood which trades off a small amount of
performance to further improve stability. We evaluate the proposed techniques
on a number of examples, showing that, in geospatial settings, sparse
approximations with guaranteed numerical stability often perform comparably to
those without.
- Abstract(参考訳): ガウス過程が成熟するにつれて、地理空間モデリングやベイズ最適化、潜在ガウスモデルなど、より大きな機械学習や意思決定システムの一部としてデプロイされるようになっている。
システム内では、ガウスのプロセスモデルは、システムの他の部分と正しく相互作用するために、安定して信頼性の高い方法で実行する必要がある。
本研究では,誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
数値的に安定な計算を行うための誘導点の条件が十分で、ある場合には必要条件を導出する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
これは、独立した関心を持つ被覆木データ構造の変更によって行われる。
さらに,少数の性能をトレードオフして安定性をさらに向上する,ガウス確率を持つ回帰に対する別のスパース近似を提案する。
提案手法を実例で評価し,地理空間環境では,数値安定性が保証されたスパース近似が非定常によく有効であることを示す。
関連論文リスト
- Noise in the reverse process improves the approximation capabilities of
diffusion models [27.65800389807353]
生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。
我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
論文 参考訳(メタデータ) (2023-12-13T02:39:10Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳(メタデータ) (2023-07-12T19:30:04Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳(メタデータ) (2023-02-14T23:50:53Z) - Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。
我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。
提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。
派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
論文 参考訳(メタデータ) (2021-03-19T09:50:53Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳(メタデータ) (2020-11-14T01:27:32Z) - Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。
本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。
本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
論文 参考訳(メタデータ) (2020-11-09T02:51:17Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z) - Biomechanical surrogate modelling using stabilized vectorial greedy
kernel methods [0.2580765958706853]
グレディカーネル近似アルゴリズムは、スパースで正確なデータベースモデリングと関数近似の手法として成功している。
我々は、いわゆる$gamma$-restricted VKOGAを導入し、解析的性質についてコメントし、臨床応用、ヒト脊椎のモデリングから得られたデータに関する数値的評価を提示する。
論文 参考訳(メタデータ) (2020-04-27T09:38:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。