論文の概要: Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees

• arxiv url: http://arxiv.org/abs/2210.07893v4
• Date: Tue, 16 Jan 2024 16:37:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 22:15:21.106073
• Title: Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees
• Title（参考訳）: 被覆木を用いた最小分離による安定スパースガウス過程
• Authors: Alexander Terenin, David R. Burt, Artem Artemev, Seth Flaxman, Mark van der Wilk, Carl Edward Rasmussen, and Hong Ge
• Abstract要約: 誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。 地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
• 参考スコア（独自算出の注目度）: 57.67528738886731
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian processes are frequently deployed as part of larger machine learning and decision-making systems, for instance in geospatial modeling, Bayesian optimization, or in latent Gaussian models. Within a system, the Gaussian process model needs to perform in a stable and reliable manner to ensure it interacts correctly with other parts of the system. In this work, we study the numerical stability of scalable sparse approximations based on inducing points. To do so, we first review numerical stability, and illustrate typical situations in which Gaussian process models can be unstable. Building on stability theory originally developed in the interpolation literature, we derive sufficient and in certain cases necessary conditions on the inducing points for the computations performed to be numerically stable. For low-dimensional tasks such as geospatial modeling, we propose an automated method for computing inducing points satisfying these conditions. This is done via a modification of the cover tree data structure, which is of independent interest. We additionally propose an alternative sparse approximation for regression with a Gaussian likelihood which trades off a small amount of performance to further improve stability. We provide illustrative examples showing the relationship between stability of calculations and predictive performance of inducing point methods on spatial tasks.
• Abstract（参考訳）: ガウス過程は、地理空間モデリングやベイズ最適化、潜在ガウスモデルなど、より大きな機械学習や意思決定システムの一部として頻繁に展開される。 システム内では、ガウスのプロセスモデルがシステムの他の部分と正しく相互作用するために、安定かつ信頼性の高い方法で実行する必要がある。 本研究では,誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。 そこで本研究では,まず数値安定性を考察し,ガウス過程モデルが不安定な典型例を示す。 補間文献で開発された安定性理論を基礎として, 数値的に安定な計算を行うための誘導点の条件を十分かつ必要条件として導出する。 地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。 これは、独立した関心を持つ被覆木データ構造の変更によって行われる。 さらに,少数の性能をトレードオフして安定性をさらに向上する,ガウス確率を持つ回帰に対する別のスパース近似を提案する。 本研究では,空間タスクにおける誘導点法の安定性と予測性能の関係を示す例を示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Probabilistic Iterative Hard Thresholding for Sparse Learning [2.5782973781085383]
  本稿では,基本性制約を用いた予測目標最適化問題の解法を提案する。 基礎となるプロセスの収束を証明し、2つの機械学習問題における性能を実証する。
  論文  参考訳（メタデータ） (2024-09-02T18:14:45Z)
• Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
  サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。 入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。 コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
  論文  参考訳（メタデータ） (2024-04-23T09:22:35Z)
• Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
  スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。 我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。 提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。 派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
  論文  参考訳（メタデータ） (2021-03-19T09:50:53Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Biomechanical surrogate modelling using stabilized vectorial greedy kernel methods [0.2580765958706853]
  グレディカーネル近似アルゴリズムは、スパースで正確なデータベースモデリングと関数近似の手法として成功している。 我々は、いわゆる$gamma$-restricted VKOGAを導入し、解析的性質についてコメントし、臨床応用、ヒト脊椎のモデリングから得られたデータに関する数値的評価を提示する。
  論文  参考訳（メタデータ） (2020-04-27T09:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。