論文の概要: New Bounds for Sparse Variational Gaussian Processes

• arxiv url: http://arxiv.org/abs/2502.08730v1
• Date: Wed, 12 Feb 2025 19:04:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:33.210009
• Title: New Bounds for Sparse Variational Gaussian Processes
• Title（参考訳）: スパース変分ガウス過程の新しい境界
• Authors: Michalis K. Titsias,
• Abstract要約: スパース変分ガウス過程 (GPs) は、GPモデルに対する抽出可能な後部近似を構成する。 これらの手法の中核は、訓練関数の値に対する真の後続分布が$bf f$であり、変数を誘導する$bf u$は、条件付きGP前の$p(bf f | bf u)$をその分解に組み込んだ変分分布によって近似されるという仮定である。 モデルトレーニングでは、より一般的な変分分布$q(bf f | bf u)$を使用することで、それを緩和できることを示す。
• 参考スコア（独自算出の注目度）: 8.122270502556374
• License:
• Abstract: Sparse variational Gaussian processes (GPs) construct tractable posterior approximations to GP models. At the core of these methods is the assumption that the true posterior distribution over training function values ${\bf f}$ and inducing variables ${\bf u}$ is approximated by a variational distribution that incorporates the conditional GP prior $p({\bf f} | {\bf u})$ in its factorization. While this assumption is considered as fundamental, we show that for model training we can relax it through the use of a more general variational distribution $q({\bf f} | {\bf u})$ that depends on $N$ extra parameters, where $N$ is the number of training examples. In GP regression, we can analytically optimize the evidence lower bound over the extra parameters and express a tractable collapsed bound that is tighter than the previous bound. The new bound is also amenable to stochastic optimization and its implementation requires minor modifications to existing sparse GP code. Further, we also describe extensions to non-Gaussian likelihoods. On several datasets we demonstrate that our method can reduce bias when learning the hyperpaparameters and can lead to better predictive performance.
• Abstract（参考訳）: スパース変分ガウス過程 (GPs) は、GPモデルに対する抽出可能な後部近似を構成する。 これらの方法の中核は、訓練関数値${\bf f}$と誘導変数${\bf u}$が、条件付きGP前の$p({\bf f} | {\bf u})$をその分解に組み込んだ変分分布によって近似されるという仮定である。 この仮定は基本的と考えられるが、モデルトレーニングではより一般的な変分分布 $q({\bf f} | {\bf u})$ を用いて緩和することができる。 GP回帰では、余剰パラメータよりも低いエビデンスを解析的に最適化し、以前の境界よりも厳密なトラクタブル崩壊境界を表現できる。 新しいバウンダリは確率的最適化にも適しており、実装には既存のスパースGPコードへの微調整が必要である。 さらに、非ガウス的可能性の拡張についても記述する。 いくつかのデータセットにおいて,本手法はハイパーパラメータ学習時のバイアスを低減し,予測性能が向上することを示した。

関連論文リスト

• Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
  本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。 多くのモデルと関心の制約に対して、ノイズ空間の後方はデータ空間の後方よりも滑らかであり、そのような償却推論に対してより快適である。
  論文  参考訳（メタデータ） (2025-02-10T19:49:54Z)
• A Coreset-based, Tempered Variational Posterior for Accurate and Scalable Stochastic Gaussian Process Inference [2.7855886538423187]
  重み付き擬似入出力点(コアセット)の学習可能な集合上の後部に基づく新しい変分ガウス法(mathcalGP$)を提案する。 我々は、潜伏$mathcalGP$ coreset変数の辺化により、対数的可能性に対するGPの低い境界を導出する。
  論文  参考訳（メタデータ） (2023-11-02T17:22:22Z)
• Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
  GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。 古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
  論文  参考訳（メタデータ） (2022-06-17T19:03:04Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Input Dependent Sparse Gaussian Processes [1.1470070927586014]
  我々は、観測データを入力として受信し、誘導点の位置とパラメータを$q$で出力するニューラルネットワークを使用する。 提案手法をいくつかの実験で評価し,他の最先端のスパース変分GP手法とよく似た性能を示すことを示した。
  論文  参考訳（メタデータ） (2021-07-15T12:19:10Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Transforming Gaussian Processes With Normalizing Flows [15.886048234706633]
  パラメトリックな非可逆変換を入力依存にし、解釈可能な事前知識を符号化できることを示す。 結果の推測問題に対する変分近似を導出するが、これは変分GP回帰と同じくらい高速である。 得られたアルゴリズムの計算性能と推論性能は優れており,これを様々なデータセットで示す。
  論文  参考訳（メタデータ） (2020-11-03T09:52:37Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Quadruply Stochastic Gaussian Processes [10.152838128195466]
  本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。 GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
  論文  参考訳（メタデータ） (2020-06-04T17:06:25Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。