論文の概要: Modulating Scalable Gaussian Processes for Expressive Statistical Learning

• arxiv url: http://arxiv.org/abs/2008.12922v1
• Date: Sat, 29 Aug 2020 06:41:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 16:52:46.697391
• Title: Modulating Scalable Gaussian Processes for Expressive Statistical Learning
• Title（参考訳）: 表現型統計的学習のためのスケーラブルガウス過程の制御
• Authors: Haitao Liu, Yew-Soon Ong, Xiaomo Jiang, Xiaofang Wang
• Abstract要約: ガウス過程(GP)は、入力と出力の間の統計的関係を学ぶことに興味がある。 本稿では,非定常ヘテロセダスティックGP,GPと潜在GPの混合を含む,スケーラブルなGPパラダイムについて検討し,よりリッチでガウス的でない統計表現を学習するために,出力や入力を変調する潜在変数を導入する。
• 参考スコア（独自算出の注目度）: 25.356503463916816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For a learning task, Gaussian process (GP) is interested in learning the statistical relationship between inputs and outputs, since it offers not only the prediction mean but also the associated variability. The vanilla GP however struggles to learn complicated distribution with the property of, e.g., heteroscedastic noise, multi-modality and non-stationarity, from massive data due to the Gaussian marginal and the cubic complexity. To this end, this article studies new scalable GP paradigms including the non-stationary heteroscedastic GP, the mixture of GPs and the latent GP, which introduce additional latent variables to modulate the outputs or inputs in order to learn richer, non-Gaussian statistical representation. We further resort to different variational inference strategies to arrive at analytical or tighter evidence lower bounds (ELBOs) of the marginal likelihood for efficient and effective model training. Extensive numerical experiments against state-of-the-art GP and neural network (NN) counterparts on various tasks verify the superiority of these scalable modulated GPs, especially the scalable latent GP, for learning diverse data distributions.
• Abstract（参考訳）: 学習タスクにおいて、ガウス過程(GP)は、予測平均だけでなく、関連する変数も提供するので、入力と出力の間の統計的関係の学習に関心がある。 しかし、バニラGPは、ガウス境界と立方体複雑さによる大量のデータからヘテロスセダスティックノイズ、多重モダリティ、非定常性といった性質を持つ複雑な分布を学ぶのに苦労している。 本稿では,非定常ヘテロセダスティックGP,GPと潜在GPの混合を含むスケーラブルなGPパラダイムについて検討し,よりリッチでガウス的でない統計表現を学習するために,出力や入力を変調する潜在変数を追加する。 さらに,解析的あるいはより厳密なエビデンス(elbos)の限界を低くし,効率的かつ効果的なモデルトレーニングを行うために,異なる変分推論戦略を用いる。 様々なタスクにおける最先端GPとニューラルネットワーク(NN)に対する大規模な数値実験により、これらのスケーラブルな変調GP、特にスケーラブルな潜在GPの優位性を検証し、多様なデータ分布を学習する。

関連論文リスト

• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Weighted Ensembles for Active Learning with Adaptivity [60.84896785303314]
  本稿では,ラベル付きデータに漸進的に適応した重み付きGPモデルのアンサンブルについて述べる。 この新しいEGPモデルに基づいて、不確実性および不一致ルールに基づいて、一連の取得関数が出現する。 適応的に重み付けされたEGPベースの取得関数のアンサンブルも、さらなる性能向上のために導入されている。
  論文  参考訳（メタデータ） (2022-06-10T11:48:49Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Modular Gaussian Processes for Transfer Learning [0.0]
  モジュラー変動ガウス過程(GP)に基づく移動学習のためのフレームワークを提案する。 我々は,データを再考することなく,アンサンブルGPモデルを構築するモジュールベースの手法を開発した。 本手法は、望ましくないデータの集中化を回避し、計算コストの増大を低減し、学習後の不確実性指標の伝達を可能にする。
  論文  参考訳（メタデータ） (2021-10-26T09:15:18Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Scalable Multi-Task Gaussian Processes with Neural Embedding of Coregionalization [9.873139480223367]
  マルチタスク回帰は,タスク間の知識伝達を実現するために,タスク類似性を活用しようとする。 コリージョン化の線形モデル(英: linear model of co Regionalalization, LMC)は、複数の独立かつ多様なGPの線形結合によってタスクの依存性を利用する、よく知られたMTGPパラダイムである。 我々は,潜伏GPを高次元の潜伏空間に変換するコリージョン化のニューラル埋め込みを開発し,リッチだが多様な振る舞いを誘導する。
  論文  参考訳（メタデータ） (2021-09-20T01:28:14Z)
• On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach [0.76146285961466]
  ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。 本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
  論文  参考訳（メタデータ） (2021-03-04T20:48:29Z)
• Sparse Gaussian Process Variational Autoencoders [24.86751422740643]
  既存のGP-DGMにおける推論のアプローチは、点に基づくスパースGP近似をサポートしない。 我々は,スパースGP近似のパラメータ化に部分的推論ネットワークを用いることで特徴付けられるスパースガウス過程変動オートエンコーダ(GP-VAE)を開発した。
  論文  参考訳（メタデータ） (2020-10-20T10:19:56Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。