論文の概要: Correlated Product of Experts for Sparse Gaussian Process Regression
- arxiv url: http://arxiv.org/abs/2112.09519v1
- Date: Fri, 17 Dec 2021 14:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 14:02:31.489047
- Title: Correlated Product of Experts for Sparse Gaussian Process Regression
- Title（参考訳）: 疎ガウス過程回帰に対する専門家の相関積
- Authors: Manuel Sch\"urch, Dario Azzimonti, Alessio Benavoli, Marco Zaffalon
- Abstract要約: そこで本研究では,複数の地域および関連専門家からの予測の集約に基づく新しいアプローチを提案する。
本手法は, 独立系エキスパート製品, スパースGP, フルGPを限定例で回収する。
提案手法は,最先端GP近似法に対して,時間対精度で優れた性能を示す。
- 参考スコア（独自算出の注目度）: 2.466065249430993
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Gaussian processes (GPs) are an important tool in machine learning and
statistics with applications ranging from social and natural science through
engineering. They constitute a powerful kernelized non-parametric method with
well-calibrated uncertainty estimates, however, off-the-shelf GP inference
procedures are limited to datasets with several thousand data points because of
their cubic computational complexity. For this reason, many sparse GPs
techniques have been developed over the past years. In this paper, we focus on
GP regression tasks and propose a new approach based on aggregating predictions
from several local and correlated experts. Thereby, the degree of correlation
between the experts can vary between independent up to fully correlated
experts. The individual predictions of the experts are aggregated taking into
account their correlation resulting in consistent uncertainty estimates. Our
method recovers independent Product of Experts, sparse GP and full GP in the
limiting cases. The presented framework can deal with a general kernel function
and multiple variables, and has a time and space complexity which is linear in
the number of experts and data samples, which makes our approach highly
scalable. We demonstrate superior performance, in a time vs. accuracy sense, of
our proposed method against state-of-the-art GP approximation methods for
synthetic as well as several real-world datasets with deterministic and
stochastic optimization.
- Abstract（参考訳）: ガウス過程(GP)は、社会科学から自然科学、工学に至るまで、機械学習や統計学において重要なツールである。
これらは、よく校正された不確実性推定を持つ強力なカーネル化された非パラメトリック法を構成するが、計算複雑性のため、市販のGP推論手順は数千のデータポイントを持つデータセットに限られる。
このため、近年多くのスパースGP技術が開発されている。
本稿では,GP回帰タスクに着目し,複数のローカルおよび相関の専門家からの予測を集約した新しいアプローチを提案する。
これにより、専門家間の相関度は、独立した専門家から完全に相関した専門家まで様々である。
専門家の個人予測は、その相関を考慮して集約され、一貫した不確実性推定をもたらす。
本手法は, 独立系エキスパート製品, スパースGP, フルGPを限定例で回収する。
提案フレームワークは一般的なカーネル関数と複数の変数を扱うことができ、専門家やデータサンプルの数に線形な時間と空間の複雑さを持つため、我々のアプローチは高度にスケーラブルである。
提案手法は, 決定論的かつ確率的最適化を伴う実世界のデータセットだけでなく, 合成のための最先端gp近似法に対して, 時間的にも精度的にも優れた性能を示す。
関連論文リスト
- Compactly-supported nonstationary kernels for computing exact Gaussian processes on big data [2.8377382540923004]
スパーシリティと非定常性の両方を発見およびエンコードできる代替カーネルを導出する。
我々は,既存の精密かつ近似的なGP法と比較して,新しいカーネルの性能を実証する。
また,1日当たりの最大気温を100万回以上測定し,時空間予測を行った。
論文 参考訳（メタデータ） (2024-11-07T20:07:21Z) - Aggregation Models with Optimal Weights for Distributed Gaussian Processes [6.408773096179187]
本稿では,分散GPにおける集約予測のための新しい手法を提案する。
提案手法は, 専門家間の相関関係を取り入れ, 管理可能な計算条件で予測精度を向上する。
実証的な研究によって実証されたように、提案手法は、最先端の一貫した集約モデルよりも少ない時間でより安定した予測をもたらす。
論文 参考訳（メタデータ） (2024-08-01T23:32:14Z) - Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
Mixture-of-Experts (MoE)計算アマルガメート予測
Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
論文 参考訳（メタデータ） (2024-03-26T05:48:02Z) - Entry Dependent Expert Selection in Distributed Gaussian Processes Using
Multilabel Classification [12.622412402489951]
アンサンブルのテクニックは、データ分割を訓練したガウスの専門家による局所的な予測を組み合わせる。
本稿では,エントリデータポイントの特性に基づくフレキシブルな専門家選択手法を提案する。
論文 参考訳（メタデータ） (2022-11-17T23:23:26Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-10T12:35:02Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-10-26T10:45:25Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳（メタデータ） (2021-07-23T19:38:17Z) - Gaussian Experts Selection using Graphical Models [7.530615321587948]
ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。
我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
論文 参考訳（メタデータ） (2021-02-02T14:12:11Z) - Revisiting the Sample Complexity of Sparse Spectrum Approximation of
Gaussian Processes [60.479499225746295]
本稿では,ガウス過程に対して,パラメータ空間全体に対して同時に保持可能な保証付きスケーラブルな近似を導入する。
我々の近似は、スパーススペクトルガウス過程(SSGP)のための改良されたサンプル複雑性解析から得られる。
論文 参考訳（メタデータ） (2020-11-17T05:41:50Z) - Aggregating Dependent Gaussian Experts in Local Approximation [8.4159776055506]
我々は,条件付き独立の強い違反を検出することによって,ガウスの専門家を集結させる新しいアプローチを提案する。
専門家間の依存関係は、精度行列を生成するガウス図形モデルを用いて決定される。
我々の新しい手法は、SOTAアプローチよりもはるかに時間効率が高く、他の最先端(SOTA)DGP手法よりも優れている。
論文 参考訳（メタデータ） (2020-10-17T21:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。