論文の概要: Modular Gaussian Processes for Transfer Learning
- arxiv url: http://arxiv.org/abs/2110.13515v1
- Date: Tue, 26 Oct 2021 09:15:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 00:57:56.587960
- Title: Modular Gaussian Processes for Transfer Learning
- Title(参考訳): 伝達学習のためのモジュラーガウス過程
- Authors: Pablo Moreno-Mu\~noz, Antonio Art\'es-Rodr\'iguez and Mauricio A.
\'Alvarez
- Abstract要約: モジュラー変動ガウス過程(GP)に基づく移動学習のためのフレームワークを提案する。
我々は,データを再考することなく,アンサンブルGPモデルを構築するモジュールベースの手法を開発した。
本手法は、望ましくないデータの集中化を回避し、計算コストの増大を低減し、学習後の不確実性指標の伝達を可能にする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a framework for transfer learning based on modular variational
Gaussian processes (GP). We develop a module-based method that having a
dictionary of well fitted GPs, one could build ensemble GP models without
revisiting any data. Each model is characterised by its hyperparameters,
pseudo-inputs and their corresponding posterior densities. Our method avoids
undesired data centralisation, reduces rising computational costs and allows
the transfer of learned uncertainty metrics after training. We exploit the
augmentation of high-dimensional integral operators based on the
Kullback-Leibler divergence between stochastic processes to introduce an
efficient lower bound under all the sparse variational GPs, with different
complexity and even likelihood distribution. The method is also valid for
multi-output GPs, learning correlations a posteriori between independent
modules. Extensive results illustrate the usability of our framework in
large-scale and multi-task experiments, also compared with the exact inference
methods in the literature.
- Abstract(参考訳): 本稿では,モジュール変動ガウス過程(GP)に基づく移動学習フレームワークを提案する。
我々は,gpsによく適合した辞書を持つモジュールベースの手法を開発し,データを再訪することなくアンサンブルgpモデルを構築することができた。
各モデルはハイパーパラメータ、擬似入力、対応する後方密度によって特徴づけられる。
提案手法は,望ましくないデータの集中化を回避し,計算コストの増大を低減し,学習後の不確実性メトリクスの転送を可能にする。
確率過程間のkullback-leiblerの発散に基づく高次元積分作用素の強化を活用し,全てのばらばらな変分gpsの下で効率的な下界を導入する。
この手法は多出力GPにも有効であり、独立モジュール間の後続関係を学習する。
広範な結果から,大規模マルチタスク実験におけるフレームワークの有用性を示すとともに,文献における正確な推論手法との比較を行った。
関連論文リスト
- Online Variational Sequential Monte Carlo [56.16884466478886]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference [50.91823345296243]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳(メタデータ) (2023-12-10T15:22:30Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳(メタデータ) (2023-08-29T15:01:01Z) - Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。
BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文 参考訳(メタデータ) (2022-08-22T09:07:02Z) - Transfer Learning with Gaussian Processes for Bayesian Optimization [9.933956770453438]
トランスファーラーニングのための階層型GPモデルについて統一的なビューを提供し、メソッド間の関係を分析する。
我々は,既存のアプローチと複雑性の両立する新しい閉形式GP転送モデルを開発した。
大規模実験における異なる手法の性能評価を行い、異なる移動学習手法の長所と短所を強調した。
論文 参考訳(メタデータ) (2021-11-22T14:09:45Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2021-10-26T10:45:25Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Collaborative Nonstationary Multivariate Gaussian Process Model [2.362467745272567]
我々は、協調非定常ガウス過程モデル(CNMGP)と呼ばれる新しいモデルを提案する。
CNMGPは、出力が共通の入力セットを共有していないデータを、入力と出力のサイズに依存しない計算複雑性でモデル化することができる。
また,本モデルでは,出力毎に異なる時間変化相関を推定し,予測性能の向上を図っている。
論文 参考訳(メタデータ) (2021-06-01T18:25:22Z) - On MCMC for variationally sparse Gaussian processes: A pseudo-marginal
approach [0.76146285961466]
ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。
本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
論文 参考訳(メタデータ) (2021-03-04T20:48:29Z) - Scalable Gaussian Process Variational Autoencoders [17.345687261000045]
本稿では,実行時およびメモリフットプリントの観点から既存手法より優れた拡張性を持つGP-VAEモデルを提案する。
論文 参考訳(メタデータ) (2020-10-26T10:26:02Z) - Modulating Scalable Gaussian Processes for Expressive Statistical
Learning [25.356503463916816]
ガウス過程(GP)は、入力と出力の間の統計的関係を学ぶことに興味がある。
本稿では,非定常ヘテロセダスティックGP,GPと潜在GPの混合を含む,スケーラブルなGPパラダイムについて検討し,よりリッチでガウス的でない統計表現を学習するために,出力や入力を変調する潜在変数を導入する。
論文 参考訳(メタデータ) (2020-08-29T06:41:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。