論文の概要: A Sparse Expansion For Deep Gaussian Processes

• arxiv url: http://arxiv.org/abs/2112.05888v1
• Date: Sat, 11 Dec 2021 00:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-18 16:04:27.412560
• Title: A Sparse Expansion For Deep Gaussian Processes
• Title（参考訳）: 深いガウス過程に対する疎拡大
• Authors: Liang Ding and Rui Tuo and Shahin Shahrampour
• Abstract要約: ディープガウス過程(Deep Gaussian Processes, DGP)は、複雑なディープラーニングモデルの不確実性を定量化するための非パラメトリックアプローチを可能にする。 DGPモデルの従来の推論手法は、高い計算複雑性に悩まされることがある。 本稿では,ガウス過程の範囲に基づいて,正確な推測と予測を行うための効率的なスキームを提案する。
• 参考スコア（独自算出の注目度）: 18.570248766838183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Gaussian Processes (DGP) enable a non-parametric approach to quantify the uncertainty of complex deep machine learning models. Conventional inferential methods for DGP models can suffer from high computational complexity as they require large-scale operations with kernel matrices for training and inference. In this work, we propose an efficient scheme for accurate inference and prediction based on a range of Gaussian Processes, called the Tensor Markov Gaussian Processes (TMGP). We construct an induced approximation of TMGP referred to as the hierarchical expansion. Next, we develop a deep TMGP (DTMGP) model as the composition of multiple hierarchical expansion of TMGPs. The proposed DTMGP model has the following properties: (1) the outputs of each activation function are deterministic while the weights are chosen independently from standard Gaussian distribution; (2) in training or prediction, only O(polylog(M)) (out of M) activation functions have non-zero outputs, which significantly boosts the computational efficiency. Our numerical experiments on real datasets show the superior computational efficiency of DTMGP versus other DGP models.
• Abstract（参考訳）: 深層ガウス過程(dgp)は、複雑な深層機械学習モデルの不確かさを定量化するために非パラメトリックなアプローチを可能にする。 DGPモデルの従来の推論手法は、トレーニングと推論のためにカーネル行列を用いた大規模演算を必要とするため、計算の複雑さに悩まされる。 本研究では, テンソルマルコフ・ガウス過程 (TMGP) と呼ばれる, ガウス過程の範囲に基づいて, 正確な推測と予測を行うための効率的なスキームを提案する。 階層展開(hierarchical expansion)と呼ばれるTMGPの誘導近似を構築する。 次に,深部TMGP(DTMGP)モデルを構築し,TMGPの多重階層展開の合成を行う。 提案したDTMGPモデルには以下の特性がある: 1) 各活性化関数の出力は決定論的であり, ウェイトは標準ガウス分布から独立に選択される; (2) トレーニングや予測において、O(polylog(M)) のみ(M) アクティベーション関数はゼロでない出力を持ち、計算効率を大幅に向上する。 実データセットに対する数値実験により、DTMGPの計算効率は他のDGPモデルよりも優れていることを示した。

関連論文リスト

• Deep Transformed Gaussian Processes [0.0]
  変換ガウス過程(英: Transformed Gaussian Processs、TGP)は、可逆変換を用いて、前者のプロセス(典型的にはGP)からサンプルを共分散から変換することによって定義される過程である。 本稿では,プロセスの階層化の傾向に従い,DTGP(Deep Transformed Gaussian Processs)と呼ばれるTGPの一般化を提案する。 実験では、提案したDTGPを複数の回帰データセットで評価し、優れたスケーラビリティと性能を実現した。
  論文  参考訳（メタデータ） (2023-10-27T16:09:39Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Weighted Ensembles for Active Learning with Adaptivity [60.84896785303314]
  本稿では,ラベル付きデータに漸進的に適応した重み付きGPモデルのアンサンブルについて述べる。 この新しいEGPモデルに基づいて、不確実性および不一致ルールに基づいて、一連の取得関数が出現する。 適応的に重み付けされたEGPベースの取得関数のアンサンブルも、さらなる性能向上のために導入されている。
  論文  参考訳（メタデータ） (2022-06-10T11:48:49Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Deep Gaussian Process Emulation using Stochastic Imputation [0.0]
  本稿では,命令を用いた計算機モデルエミュレーションのための新しいディープガウス過程 (DGP) 推論法を提案する。 この手法は、遅延層を強制的に命令することで、DGPをリンクされたGPに変換し、これは、フィードフォワード結合GPの系をリンクすることによって形成される最先端の代理モデルである。
  論文  参考訳（メタデータ） (2021-07-04T10:46:23Z)
• On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach [0.76146285961466]
  ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。 本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
  論文  参考訳（メタデータ） (2021-03-04T20:48:29Z)
• Sparse Gaussian Process Variational Autoencoders [24.86751422740643]
  既存のGP-DGMにおける推論のアプローチは、点に基づくスパースGP近似をサポートしない。 我々は,スパースGP近似のパラメータ化に部分的推論ネットワークを用いることで特徴付けられるスパースガウス過程変動オートエンコーダ(GP-VAE)を開発した。
  論文  参考訳（メタデータ） (2020-10-20T10:19:56Z)
• Modulating Scalable Gaussian Processes for Expressive Statistical Learning [25.356503463916816]
  ガウス過程(GP)は、入力と出力の間の統計的関係を学ぶことに興味がある。 本稿では,非定常ヘテロセダスティックGP,GPと潜在GPの混合を含む,スケーラブルなGPパラダイムについて検討し,よりリッチでガウス的でない統計表現を学習するために,出力や入力を変調する潜在変数を導入する。
  論文  参考訳（メタデータ） (2020-08-29T06:41:45Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。