論文の概要: Scalable Gaussian-process regression and variable selection using Vecchia approximations

• arxiv url: http://arxiv.org/abs/2202.12981v1
• Date: Fri, 25 Feb 2022 21:22:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 17:14:32.515911
• Title: Scalable Gaussian-process regression and variable selection using Vecchia approximations
• Title（参考訳）: vecchia近似を用いたスケーラブルガウス過程回帰と変数選択
• Authors: Jian Cao, Joseph Guinness, Marc G. Genton, Matthias Katzfuss
• Abstract要約: ヴェッキアをベースとしたミニバッチサブサンプリングは、偏りのない勾配推定器を提供する。 偏りのない勾配推定器を提供するVecchiaベースのミニバッチサブサンプリングを提案する。
• 参考スコア（独自算出の注目度）: 3.4163060063961255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian process (GP) regression is a flexible, nonparametric approach to regression that naturally quantifies uncertainty. In many applications, the number of responses and covariates are both large, and a goal is to select covariates that are related to the response. For this setting, we propose a novel, scalable algorithm, coined VGPR, which optimizes a penalized GP log-likelihood based on the Vecchia GP approximation, an ordered conditional approximation from spatial statistics that implies a sparse Cholesky factor of the precision matrix. We traverse the regularization path from strong to weak penalization, sequentially adding candidate covariates based on the gradient of the log-likelihood and deselecting irrelevant covariates via a new quadratic constrained coordinate descent algorithm. We propose Vecchia-based mini-batch subsampling, which provides unbiased gradient estimators. The resulting procedure is scalable to millions of responses and thousands of covariates. Theoretical analysis and numerical studies demonstrate the improved scalability and accuracy relative to existing methods.
• Abstract（参考訳）: ガウス過程(英: Gaussian process、GP)は、不確実性を自然に定量化する回帰に対するフレキシブルで非パラメトリックなアプローチである。 多くのアプリケーションでは、応答数と共変量の両方が大きく、その応答に関連する共変量を選択することが目的である。 本研究では,Vecchia GP近似に基づくペナル化GPログ類似度を最適化し,精度行列の余分なコレスキー係数を示す空間統計量から順序付き条件近似を行う,新しい拡張性アルゴリズム VGPR を提案する。 我々は, 正則化経路を強いペナライゼーションから弱いペナライゼーションへトラバースし, 対数類似度の勾配に基づく候補共変数を逐次追加し, 新たな二次制約付き座標降下アルゴリズムを用いて無関係な共変量を選択する。 偏りのない勾配推定器を提供するVecchiaベースのミニバッチサブサンプリングを提案する。 結果として得られる手順は、数百万の応答と数千の共変量に対してスケーラブルである。 理論的解析と数値的研究は、既存の手法と比較してスケーラビリティと精度が向上したことを示している。

関連論文リスト

• Robust Stochastic Optimization via Gradient Quantile Clipping [1.90365714903665]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• Variational sparse inverse Cholesky approximation for latent Gaussian processes via double Kullback-Leibler minimization [6.012173616364571]
  後肢の変分近似とSIC制限したKulback-Leibler-Optimal近似を併用した。 この設定のために、我々の変分近似は反復毎の多対数時間で勾配降下によって計算できる。 本稿では,DKLGP(Double-Kullback-Leibler-Optimal Gaussian-process approximation)を提案する。
  論文  参考訳（メタデータ） (2023-01-30T21:50:08Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
  強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。 目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。 実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:21:56Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Robust regression with covariate filtering: Heavy tails and adversarial contamination [6.939768185086755]
  より強い汚染モデルにおいて,ハマー回帰,最小トリミング正方形,最小絶対偏差推定器を同時に計算および統計的に効率的に推定する方法を示す。 この設定では、ハマー回帰推定器がほぼ最適誤差率を達成するのに対し、最小のトリミング正方形と最小の絶対偏差推定器は、後処理ステップを適用した後、ほぼ最適誤差を達成することができる。
  論文  参考訳（メタデータ） (2020-09-27T22:48:48Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Robust Gaussian Process Regression with a Bias Model [0.6850683267295248]
  既存のほとんどのアプローチは、重い尾の分布から誘導される非ガウス的確率に、外れやすいガウス的確率を置き換えるものである。 提案手法は、未知の回帰関数の雑音および偏りの観測として、外れ値をモデル化する。 バイアス推定に基づいて、ロバストなGP回帰を標準のGP回帰問題に還元することができる。
  論文  参考訳（メタデータ） (2020-01-14T06:21:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。