論文の概要: Scalable Multi-Task Gaussian Processes with Neural Embedding of
Coregionalization
- arxiv url: http://arxiv.org/abs/2109.09261v1
- Date: Mon, 20 Sep 2021 01:28:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:50:45.581025
- Title: Scalable Multi-Task Gaussian Processes with Neural Embedding of
Coregionalization
- Title（参考訳）: コリージョン化のニューラル埋め込みによるスケーラブル多タスクガウス過程
- Authors: Haitao Liu, Jiaqi Ding, Xinyu Xie, Xiaomo Jiang, Yusong Zhao, Xiaofang
Wang
- Abstract要約: マルチタスク回帰は,タスク間の知識伝達を実現するために,タスク類似性を活用しようとする。
コリージョン化の線形モデル(英: linear model of co Regionalalization, LMC)は、複数の独立かつ多様なGPの線形結合によってタスクの依存性を利用する、よく知られたMTGPパラダイムである。
我々は,潜伏GPを高次元の潜伏空間に変換するコリージョン化のニューラル埋め込みを開発し,リッチだが多様な振る舞いを誘導する。
- 参考スコア（独自算出の注目度）: 9.873139480223367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task regression attempts to exploit the task similarity in order to
achieve knowledge transfer across related tasks for performance improvement.
The application of Gaussian process (GP) in this scenario yields the
non-parametric yet informative Bayesian multi-task regression paradigm.
Multi-task GP (MTGP) provides not only the prediction mean but also the
associated prediction variance to quantify uncertainty, thus gaining popularity
in various scenarios. The linear model of coregionalization (LMC) is a
well-known MTGP paradigm which exploits the dependency of tasks through linear
combination of several independent and diverse GPs. The LMC however suffers
from high model complexity and limited model capability when handling
complicated multi-task cases. To this end, we develop the neural embedding of
coregionalization that transforms the latent GPs into a high-dimensional latent
space to induce rich yet diverse behaviors. Furthermore, we use advanced
variational inference as well as sparse approximation to devise a tight and
compact evidence lower bound (ELBO) for higher quality of scalable model
inference. Extensive numerical experiments have been conducted to verify the
higher prediction quality and better generalization of our model, named NSVLMC,
on various real-world multi-task datasets and the cross-fluid modeling of
unsteady fluidized bed.
- Abstract（参考訳）: マルチタスク回帰は,タスク間の知識伝達を実現するために,タスク類似性を活用しようとする。
このシナリオにおけるガウス過程(GP)の応用は、非パラメトリックで情報的ベイズ的マルチタスク回帰パラダイムをもたらす。
MTGP(Multi-task GP)は、予測平均だけでなく、不確実性を定量化するための関連する予測分散も提供する。
コリージョン化の線形モデル(英: linear model of co Regionalalization, LMC)は、複数の独立かつ多様なGPの線形結合によってタスクの依存性を利用する、よく知られたMTGPパラダイムである。
しかし、lmcは複雑なマルチタスクケースを扱う際に高いモデルの複雑さと限定的なモデル能力に苦しむ。
この目的のために,我々は,潜在gpsを高次元の潜在空間に変換し,豊かで多様な行動を誘発する共領域化の神経組込みを開発した。
さらに,高度な変分推論とスパース近似を用いて,より高品質なスケーラブルなモデル推論のために,厳密でコンパクトなエビデンス下限 (elbo) を考案する。
各種実世界のマルチタスク・データセット上での予測精度の向上とNSVLMCと呼ばれるモデルの一般化,および非定常流動床のクロス流体モデリングの検証を行った。
関連論文リスト
- Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting [16.640336442849282]
我々は,マルチタスク最適化問題を正規化手法として定式化し,マルチタスク学習情報を活用することを可能とする。
線形モデルの文脈におけるマルチタスク最適化のための閉形式解を導出する。
論文 参考訳（メタデータ） (2024-06-14T17:59:25Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳（メタデータ） (2023-08-29T15:01:01Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳（メタデータ） (2022-06-10T04:54:13Z) - Learning Multi-Task Gaussian Process Over Heterogeneous Input Domains [27.197576157695096]
マルチタスクガウス過程(MTGP)は、相関タスクを学習するためのよく知られた非パラメトリックベイズモデルである。
本稿では,多様な入力領域でタスクを同時に学習する,新しいヘテロジニアス変分線形モデルであるコリージョン化(HSVLMC)を提案する。
論文 参考訳（メタデータ） (2022-02-25T11:55:09Z) - A Statistics and Deep Learning Hybrid Method for Multivariate Time
Series Forecasting and Mortality Modeling [0.0]
Exponential Smoothing Recurrent Neural Network (ES-RNN)は、統計予測モデルとリカレントニューラルネットワークのハイブリッドである。
ES-RNNはMakridakis-4 Forecasting Competitionで絶対誤差を9.4%改善した。
論文 参考訳（メタデータ） (2021-12-16T04:44:19Z) - Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma
Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。
実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文 参考訳（メタデータ） (2021-11-11T14:28:12Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Modulating Scalable Gaussian Processes for Expressive Statistical
Learning [25.356503463916816]
ガウス過程(GP)は、入力と出力の間の統計的関係を学ぶことに興味がある。
本稿では,非定常ヘテロセダスティックGP,GPと潜在GPの混合を含む,スケーラブルなGPパラダイムについて検討し,よりリッチでガウス的でない統計表現を学習するために,出力や入力を変調する潜在変数を導入する。
論文 参考訳（メタデータ） (2020-08-29T06:41:45Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。