論文の概要: Variational sparse inverse Cholesky approximation for latent Gaussian processes via double Kullback-Leibler minimization

• arxiv url: http://arxiv.org/abs/2301.13303v1
• Date: Mon, 30 Jan 2023 21:50:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 18:29:05.054365
• Title: Variational sparse inverse Cholesky approximation for latent Gaussian processes via double Kullback-Leibler minimization
• Title（参考訳）: ダブルコールバック・リーブラー最小化による潜在ガウス過程のスパース逆コレスキー近似
• Authors: Jian Cao, Myeongjong Kang, Felix Jimenez, Huiyan Sang, Florian Schafer, Matthias Katzfuss
• Abstract要約: スパース逆コレスキー因子を持つガウス分布の族に基づく変分近似を提案する。 我々は、この後方の変動近似と、SIC制限されたKullback-Leibler-Optimal近似を併用する。 この設定のために、我々の変分近似は反復毎の多対数時間で勾配降下によって計算できる。
• 参考スコア（独自算出の注目度）: 6.012173616364571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To achieve scalable and accurate inference for latent Gaussian processes, we propose a variational approximation based on a family of Gaussian distributions whose covariance matrices have sparse inverse Cholesky (SIC) factors. We combine this variational approximation of the posterior with a similar and efficient SIC-restricted Kullback-Leibler-optimal approximation of the prior. We then focus on a particular SIC ordering and nearest-neighbor-based sparsity pattern resulting in highly accurate prior and posterior approximations. For this setting, our variational approximation can be computed via stochastic gradient descent in polylogarithmic time per iteration. We provide numerical comparisons showing that the proposed double-Kullback-Leibler-optimal Gaussian-process approximation (DKLGP) can sometimes be vastly more accurate than alternative approaches such as inducing-point and mean-field approximations at similar computational complexity.
• Abstract（参考訳）: 遅延ガウス過程に対するスケーラブルかつ正確な推定を実現するために,共分散行列がスパース逆コレスキー(SIC)因子を持つガウス分布の族に基づく変分近似を提案する。 後部のこの変動近似と、SIC制限されたKulback-Leibler-Optimal近似を併用する。 次に,特定のSIC順序付けと近接近傍の空間パターンに着目し,高精度な事前近似と後部近似を行う。 この設定のために、この変分近似は、反復当たりの多対数時間で確率的勾配降下によって計算できる。 提案手法であるdklgp(double-kullback-leibler-optimal gaussian process approximation)は,計算複雑性が同じである場合,誘導点や平均場近似といった代替手法よりもはるかに精度が高い場合がある。

関連論文リスト

• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian Process Models [11.141688859736805]
  本稿では,いくつかのプレコンディショナーを導入,解析し,新しい収束結果の導出を行い,予測分散を正確に近似する新しい手法を提案する。 特に、Coleskyベースの計算と比較すると、桁違いの高速化が得られる。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2023-10-18T14:31:16Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• How Good are Low-Rank Approximations in Gaussian Process Regression? [28.392890577684657]
  2つの共通低ランクカーネル近似による近似ガウス過程(GP)回帰の保証を提供する。 理論境界の有効性を評価するため,シミュレーションデータと標準ベンチマークの両方について実験を行った。
  論文  参考訳（メタデータ） (2021-12-13T04:04:08Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• How Good are Low-Rank Approximations in Gaussian Process Regression? [24.09582049403961]
  2つの共通低ランクカーネル近似による近似ガウス過程(GP)回帰の保証を提供する。 理論境界の有効性を評価するため,シミュレーションデータと標準ベンチマークの両方について実験を行った。
  論文  参考訳（メタデータ） (2020-04-03T14:15:10Z)
• Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
  誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。 この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
  論文  参考訳（メタデータ） (2019-10-23T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。