論文の概要: Input Dependent Sparse Gaussian Processes
- arxiv url: http://arxiv.org/abs/2107.07281v1
- Date: Thu, 15 Jul 2021 12:19:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 14:08:53.071842
- Title: Input Dependent Sparse Gaussian Processes
- Title（参考訳）: 入力依存なスパースガウス過程
- Authors: Bahram Jafrasteh and Carlos Villacampa-Calvo and Daniel
Hern\'andez-Lobato
- Abstract要約: 我々は、観測データを入力として受信し、誘導点の位置とパラメータを$q$で出力するニューラルネットワークを使用する。
提案手法をいくつかの実験で評価し,他の最先端のスパース変分GP手法とよく似た性能を示すことを示した。
- 参考スコア（独自算出の注目度）: 1.1470070927586014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian Processes (GPs) are Bayesian models that provide uncertainty
estimates associated to the predictions made. They are also very flexible due
to their non-parametric nature. Nevertheless, GPs suffer from poor scalability
as the number of training instances N increases. More precisely, they have a
cubic cost with respect to $N$. To overcome this problem, sparse GP
approximations are often used, where a set of $M \ll N$ inducing points is
introduced during training. The location of the inducing points is learned by
considering them as parameters of an approximate posterior distribution $q$.
Sparse GPs, combined with variational inference for inferring $q$, reduce the
training cost of GPs to $\mathcal{O}(M^3)$. Critically, the inducing points
determine the flexibility of the model and they are often located in regions of
the input space where the latent function changes. A limitation is, however,
that for some learning tasks a large number of inducing points may be required
to obtain a good prediction performance. To address this limitation, we propose
here to amortize the computation of the inducing points locations, as well as
the parameters of the variational posterior approximation q. For this, we use a
neural network that receives the observed data as an input and outputs the
inducing points locations and the parameters of $q$. We evaluate our method in
several experiments, showing that it performs similar or better than other
state-of-the-art sparse variational GP approaches. However, with our method the
number of inducing points is reduced drastically due to their dependency on the
input data. This makes our method scale to larger datasets and have faster
training and prediction times.
- Abstract（参考訳）: ガウス過程 (Gaussian Processs, GP) はベイズモデルであり、予測に関連付けられた不確実性の推定を提供する。
また、非パラメトリックな性質から非常に柔軟である。
それでも、トレーニングインスタンスnが増加すると、gpsのスケーラビリティが低下する。
より正確に言えば、彼らは立方体コストが$n$である。
この問題を解決するために、トレーニング中にM \ll N$のインジェクションポイントのセットを導入し、スパースGP近似が頻繁に用いられる。
誘導点の位置は、近似後方分布$q$のパラメータとして考慮することで学習される。
スパースGPは$q$を推論するための変分推論と組み合わせて、GPのトレーニングコストを$\mathcal{O}(M^3)$に下げる。
批判的に、誘導点はモデルの柔軟性を決定し、しばしば潜在関数が変化する入力空間の領域に配置される。
しかし、いくつかの学習タスクでは、優れた予測性能を得るために多くの誘導点が必要であるという制限がある。
そこで本研究では,この制限に対処するために,誘導点位置の計算と変分後近似qのパラメータを償却する。
このために、観測されたデータを入力として受信し、誘導点の位置と$q$のパラメータを出力するニューラルネットワークを使用する。
提案手法をいくつかの実験で評価し,他のsparse sparse variational gpアプローチと類似または良好な性能を示す。
しかし,本手法では入力データに依存するため,誘導点の数は大幅に減少する。
これにより、我々の手法はより大きなデータセットにスケールでき、より高速なトレーニングと予測時間が得られる。
関連論文リスト
- Local Prediction-Powered Inference [7.174572371800217]
本稿では,PPIを用いた局所多変量回帰のための特定のアルゴリズムを提案する。
信頼区間, バイアス補正, カバレッジ確率を解析し, アルゴリズムの正しさと優越性を検証した。
論文 参考訳（メタデータ） (2024-09-26T22:15:53Z) - Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。
多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
論文 参考訳（メタデータ） (2024-09-08T13:08:45Z) - A Coreset-based, Tempered Variational Posterior for Accurate and
Scalable Stochastic Gaussian Process Inference [2.7855886538423187]
重み付き擬似入出力点(コアセット)の学習可能な集合上の後部に基づく新しい変分ガウス法(mathcalGP$)を提案する。
我々は、潜伏$mathcalGP$ coreset変数の辺化により、対数的可能性に対するGPの低い境界を導出する。
論文 参考訳（メタデータ） (2023-11-02T17:22:22Z) - Leveraging Locality and Robustness to Achieve Massively Scalable
Gaussian Process Regression [1.3518297878940662]
GPN(Nest-Nighbour)予測の強靭性特性と制限挙動を探索することによって,新しい視点を導入する。
データサイズnが大きくなるにつれて、推定パラメータとGPモデル仮定の精度は、GPnn予測精度とますます無関係になる。
この不正確さの源泉を補正することができ、高い計算コストで精度の高い不確実性対策と正確な予測を両立できることを示す。
論文 参考訳（メタデータ） (2023-06-26T14:32:46Z) - Revisiting Active Sets for Gaussian Process Decoders [0.0]
我々は最近発見されたクロスバリデーションのリンクに基づいて,ログマージ可能性の新たな推定法を開発した。
結果の能動集合 (SAS) 近似がGPデコーダトレーニングの堅牢性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-09-10T10:49:31Z) - Neural Greedy Pursuit for Feature Selection [72.4121881681861]
我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。
ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
論文 参考訳（メタデータ） (2022-07-19T16:39:16Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳（メタデータ） (2022-07-08T18:17:06Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-10-26T10:45:25Z) - Sparse within Sparse Gaussian Processes using Neighbor Information [23.48831040972227]
誘導変数の集合にスパーシリティを課す新しい階層的先行性を導入する。
我々は,標準のスパースGPと比較して,かなりの計算ゲインを実験的に示す。
論文 参考訳（メタデータ） (2020-11-10T11:07:53Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。