論文の概要: Deep Variational Implicit Processes

• arxiv url: http://arxiv.org/abs/2206.06720v1
• Date: Tue, 14 Jun 2022 10:04:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 14:16:24.710924
• Title: Deep Variational Implicit Processes
• Title（参考訳）: 深い変分的暗黙的過程
• Authors: Luis A. Ortega, Sim\'on Rodr\'iguez Santana and Daniel Hern\'andez-Lobato
• Abstract要約: 入射過程(IPs)はガウス過程(GPs)の一般化である 本稿では,DVIP(Deep Variational Implicit Process)と呼ばれるIPの多層一般化を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Implicit processes (IPs) are a generalization of Gaussian processes (GPs). IPs may lack a closed-form expression but are easy to sample from. Examples include, among others, Bayesian neural networks or neural samplers. IPs can be used as priors over functions, resulting in flexible models with well-calibrated prediction uncertainty estimates. Methods based on IPs usually carry out function-space approximate inference, which overcomes some of the difficulties of parameter-space approximate inference. Nevertheless, the approximations employed often limit the expressiveness of the final model, resulting, \emph{e.g.}, in a Gaussian predictive distribution, which can be restrictive. We propose here a multi-layer generalization of IPs called the Deep Variational Implicit process (DVIP). This generalization is similar to that of deep GPs over GPs, but it is more flexible due to the use of IPs as the prior distribution over the latent functions. We describe a scalable variational inference algorithm for training DVIP and show that it outperforms previous IP-based methods and also deep GPs. We support these claims via extensive regression and classification experiments. We also evaluate DVIP on large datasets with up to several million data instances to illustrate its good scalability and performance.
• Abstract（参考訳）: 入射過程 (IPs) はガウス過程(GPs)の一般化である。 IPはクローズドフォーム表現を欠いているかもしれないが、簡単にサンプリングできる。 例としては、ベイズニューラルネットワークやニューラルサンプラーなどがある。 IPは関数の先行として使用することができ、予測の不確かさを適切に補正した柔軟なモデルが得られる。 ipsに基づく手法は通常、パラメータ空間近似推論の難しさを克服する関数空間近似推論を実行する。 それにもかかわらず、よく用いられる近似は最終モデルの表現性に制限があり、ガウス予測分布において、これは制限的である。 本稿では,DVIP(Deep Variational Implicit Process)と呼ばれるIPの多層一般化を提案する。 この一般化は GP 上のディープGP と似ているが、遅延関数上の以前の分布として IP を使用するため、より柔軟である。 本稿では,dvipをトレーニングするためのスケーラブルな変分推論アルゴリズムについて述べるとともに,従来のipベース手法やディープgpsよりも優れていることを示す。 我々はこれらの主張を広範な回帰と分類実験を通じて支持する。 また、数百万のデータインスタンスを持つ大規模データセット上でDVIPを評価し、その優れたスケーラビリティとパフォーマンスを示します。

関連論文リスト

• Amortized Variational Inference for Deep Gaussian Processes [0.0]
  ディープガウス過程(DGP)はガウス過程(GP)の多層一般化である 本稿では,DGPに対して,各観測を変動パラメータにマッピングする推論関数を学習するアモータライズされた変分推論を導入する。 本手法は, 計算コストの低い従来の手法よりも, 同様に, あるいはより優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-18T20:23:27Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Sparse Implicit Processes for Approximate Inference [0.0]
  インプリシットプロセス(IP)は、ベイズニューラルネットワーク、ニューラルネットワーク、ニューラルネットワーク、データジェネレータなどのモデルを記述するフレキシブルなプリエントである。 本稿では,先行IPと近似後IPのパラメータを同時に調整する手法を提案する。 その結果,従来のIPパラメータをデータに調整し,ガウス的でない正確な予測分布を提供する,IPを近似推論するためのスケーラブルな手法が得られた。
  論文  参考訳（メタデータ） (2021-10-14T18:00:04Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• A Tutorial on Sparse Gaussian Processes and Variational Inference [12.827024991969578]
  このチュートリアルは、GPとVIの両方で事前の知識のない読者に基本的な事項へのアクセスを提供する。 このフレームワークは、非ガウス的および非ガウス的確率の回帰から、離散ラベルによる分類問題まで、教師付き学習問題の幅広い範囲を自然に扱うことができる。
  論文  参考訳（メタデータ） (2020-12-27T15:25:13Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Deep Sigma Point Processes [22.5396672566053]
  ディープガウス過程(DGP)の構成構造から着想を得たパラメトリックモデルのクラスを導入する。 ディープシグマポイントプロセス(DSPP)は、カーネル基底関数によって制御されるミニバッチトレーニングや予測不確実性を含む、(可変)DGPの魅力的な特徴の多くを保持している。
  論文  参考訳（メタデータ） (2020-02-21T03:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。