論文の概要: STRIDE: Sparse Techniques for Regression in Deep Gaussian Processes

• arxiv url: http://arxiv.org/abs/2505.11355v1
• Date: Fri, 16 May 2025 15:18:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.388746
• Title: STRIDE: Sparse Techniques for Regression in Deep Gaussian Processes
• Title（参考訳）: STRIDE: 深いガウス過程における回帰のためのスパース手法
• Authors: Simon Urbainczyk, Aretha L. Teckentrup, Jonas Latz,
• Abstract要約: 大規模データを用いた深部GPトレーニングのための粒子ベース予測予測トレーニング手法を開発した。 標準ベンチマーク問題に対して,本手法を検証した。
• 参考スコア（独自算出の注目度）: 0.3277163122167433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian processes (GPs) have gained popularity as flexible machine learning models for regression and function approximation with an in-built method for uncertainty quantification. However, GPs suffer when the amount of training data is large or when the underlying function contains multi-scale features that are difficult to represent by a stationary kernel. To address the former, training of GPs with large-scale data is often performed through inducing point approximations (also known as sparse GP regression (GPR)), where the size of the covariance matrices in GPR is reduced considerably through a greedy search on the data set. To aid the latter, deep GPs have gained traction as hierarchical models that resolve multi-scale features by combining multiple GPs. Posterior inference in deep GPs requires a sampling or, more usual, a variational approximation. Variational approximations lead to large-scale stochastic, non-convex optimisation problems and the resulting approximation tends to represent uncertainty incorrectly. In this work, we combine variational learning with MCMC to develop a particle-based expectation-maximisation method to simultaneously find inducing points within the large-scale data (variationally) and accurately train the GPs (sampling-based). The result is a highly efficient and accurate methodology for deep GP training on large-scale data. We test our method on standard benchmark problems.
• Abstract（参考訳）: ガウス過程(GP)は回帰と関数近似のための柔軟な機械学習モデルとして、不確実性定量化のための組み込まれた手法として人気を集めている。 しかし、GPは、トレーニングデータの量が大きい場合や、基礎となる関数が静止カーネルで表現しにくいマルチスケールの特徴を含む場合に悩まされる。 前者に対応するために、大規模データを用いたGPのトレーニングは、GPRにおける共分散行列のサイズがデータセット上の欲求探索によって大幅に減少する点近似(スパースGP回帰(GPR)とも呼ばれる)を誘導することで行われることが多い。 後者を支援するために、ディープGPは複数のGPを組み合わせることでマルチスケール特徴を解消する階層モデルとして注目を集めている。 深部GPにおける後部推論にはサンプリングが必要か、より通常の変分近似が必要である。 変分近似は、大規模確率的、非凸最適化問題を引き起こし、その結果の近似は不確かさを正しく表す傾向がある。 本研究では,変分学習をMCMCと組み合わせて粒子ベース予測最大化法を開発し,大規模データ内の点(変分)を同時に検出し,GP(サンプルベース)を正確に訓練する。 その結果,大規模データを用いた深部GP訓練の高精度かつ高精度な手法が得られた。 標準ベンチマーク問題に対して,本手法を検証した。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
  GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。 古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
  論文  参考訳（メタデータ） (2022-06-17T19:03:04Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach [0.76146285961466]
  ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。 本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
  論文  参考訳（メタデータ） (2021-03-04T20:48:29Z)
• Robust Gaussian Process Regression Based on Iterative Trimming [6.912744078749024]
  本稿では、最も極端なデータポイントを反復的にトリムする、新しい頑健なGP回帰アルゴリズムを提案する。 極端または豊富な外れ値が存在する場合でも、汚染されたデータのモデル精度を大幅に向上させることができる。 天体物理学的な研究の実践例として、星団の色-マグニチュード図の主系列尾根線を正確に決定できることが示されている。
  論文  参考訳（メタデータ） (2020-11-22T16:43:35Z)
• Sparse Gaussian Process Variational Autoencoders [24.86751422740643]
  既存のGP-DGMにおける推論のアプローチは、点に基づくスパースGP近似をサポートしない。 我々は,スパースGP近似のパラメータ化に部分的推論ネットワークを用いることで特徴付けられるスパースガウス過程変動オートエンコーダ(GP-VAE)を開発した。
  論文  参考訳（メタデータ） (2020-10-20T10:19:56Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。