論文の概要: A conditional one-output likelihood formulation for multitask Gaussian
processes
- arxiv url: http://arxiv.org/abs/2006.03495v4
- Date: Thu, 25 Aug 2022 14:06:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 03:00:24.874050
- Title: A conditional one-output likelihood formulation for multitask Gaussian
processes
- Title（参考訳）: マルチタスクガウス過程に対する条件付き一出力確率定式化
- Authors: \'Oscar Garc\'ia-Hinde, Vanessa G\'omez-Verdejo, Manel
Mart\'inez-Ram\'on
- Abstract要約: マルチタスクガウス過程(MTGP)は多出力回帰問題に対するガウスプロセスフレームワークの解である。
本稿では,マルチタスク学習を簡略化する新しい手法を提案する。
現状の美術品と計算的に競合していることが示される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multitask Gaussian processes (MTGP) are the Gaussian process (GP) framework's
solution for multioutput regression problems in which the $T$ elements of the
regressors cannot be considered conditionally independent given the
observations. Standard MTGP models assume that there exist both a multitask
covariance matrix as a function of an intertask matrix, and a noise covariance
matrix. These matrices need to be approximated by a low rank simplification of
order $P$ in order to reduce the number of parameters to be learnt from $T^2$
to $TP$. Here we introduce a novel approach that simplifies the multitask
learning by reducing it to a set of conditioned univariate GPs without the need
for any low rank approximations, therefore completely eliminating the
requirement to select an adequate value for hyperparameter $P$. At the same
time, by extending this approach with both a hierarchical and an approximate
model, the proposed extensions are capable of recovering the multitask
covariance and noise matrices after learning only $2T$ parameters, avoiding the
validation of any model hyperparameter and reducing the overall complexity of
the model as well as the risk of overfitting. Experimental results over
synthetic and real problems confirm the advantages of this inference approach
in its ability to accurately recover the original noise and signal matrices, as
well as the achieved performance improvement in comparison to other state of
art MTGP approaches. We have also integrated the model with standard GP
toolboxes, showing that it is computationally competitive with state of the art
options.
- Abstract（参考訳）: マルチタスクガウス過程 (multitask gaussian process, mtgp) はガウス過程 (gp) フレームワークのマルチアウトプット回帰問題に対する解であり、レグレッサーの$t$要素は観測値から条件付き独立と見なすことができない。
標準MTGPモデルは、マルチタスク共分散行列をインタータスク行列の関数として、ノイズ共分散行列の両方が存在すると仮定する。
これらの行列は、学習すべきパラメータの数を$t^2$から$tp$に減らすために、順序 p$ の低ランク化によって近似する必要がある。
ここでは、低階近似を必要とせず、条件付き単変数GPの集合に還元することで、マルチタスク学習を単純化する新しいアプローチを導入し、ハイパーパラメータ$P$の適切な値を選択する必要を完全に排除する。
同時に、このアプローチを階層モデルと近似モデルの両方で拡張することで、提案された拡張は、わずか2t$パラメータを学習した後、マルチタスク共分散とノイズ行列を回復することができ、モデルハイパーパラメータの検証を回避し、モデルの全体的な複雑さと過剰フィッティングのリスクを低減できる。
合成および実問題に対する実験結果から、この推論手法の利点は、元のノイズや信号行列を正確に復元する能力と、他の最先端MTGP手法と比較して性能改善を達成できることが確認された。
また,このモデルを標準gpツールボックスに統合し,artオプションの状態と計算面での競合性を示した。
関連論文リスト
- Globally Convergent Accelerated Algorithms for Multilinear Sparse
Logistic Regression with $\ell_0$-constraints [2.323238724742687]
多重線形ロジスティック回帰は多次元データ解析の強力なツールである。
本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。
また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
論文 参考訳（メタデータ） (2023-09-17T11:05:08Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳（メタデータ） (2023-08-29T15:01:01Z) - Distributed Extra-gradient with Optimal Complexity and Communication
Guarantees [60.571030754252824]
複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。
モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。
そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
論文 参考訳（メタデータ） (2023-08-17T21:15:04Z) - Improving Sample Efficiency of Model-Free Algorithms for Zero-Sum Markov Games [66.2085181793014]
モデルフリーのステージベースQ-ラーニングアルゴリズムはモデルベースアルゴリズムと同じ$H$依存の最適性を享受できることを示す。
本アルゴリズムは,楽観的値関数と悲観的値関数のペアとして参照値関数を更新するキーとなる新しい設計を特徴とする。
論文 参考訳（メタデータ） (2023-08-17T08:34:58Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Fast $L^2$ optimal mass transport via reduced basis methods for the
Monge-Amp$\grave{\rm e}$re equation [0.0]
パラメータ化されたMonge-Amp$graverm e$re方程式を解くための機械学習的手法を提案する。
いくつかの挑戦的な数値実験により,モンジュ=アンプ=グラバーム=e$re方程式を解くための手法の精度と高効率性を実証した。
論文 参考訳（メタデータ） (2021-12-03T12:30:46Z) - Improved Prediction and Network Estimation Using the Monotone Single
Index Multi-variate Autoregressive Model [34.529641317832024]
単調単一指数多変量自己回帰モデル(SIMAM)に基づく半パラメトリックアプローチを開発する。
我々は、従属データに対する理論的保証と、交互に投影される勾配降下アルゴリズムを提供する。
シミュレーションデータと2つの実データ例において,優れた性能を示す。
論文 参考訳（メタデータ） (2021-06-28T12:32:29Z) - On MCMC for variationally sparse Gaussian processes: A pseudo-marginal
approach [0.76146285961466]
ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。
本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
論文 参考訳（メタデータ） (2021-03-04T20:48:29Z) - Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal
Sample Complexity [67.02490430380415]
モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。
また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
論文 参考訳（メタデータ） (2020-07-15T03:25:24Z) - Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax
Problems [26.24895953952318]
我々は,非ガンスミニマックス問題のクラスを解くアルゴリズムを開発した。
また、単一または2つのミニバッチ誘導体でも機能する。
論文 参考訳（メタデータ） (2020-06-27T03:05:18Z) - Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。
特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
論文 参考訳（メタデータ） (2020-02-18T19:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。