論文の概要: Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning
- arxiv url: http://arxiv.org/abs/2110.00568v1
- Date: Fri, 1 Oct 2021 17:50:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 15:19:43.586910
- Title: Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning
- Title（参考訳）: 条件付き深いガウス過程:経験的ベイズハイパーデータ学習
- Authors: Chi-Ken Lu and Patrick Shafto
- Abstract要約: 本稿では,階層構成における中間GPをハイパーデータでサポートする条件付きDeep Gaussian Process (DGP)を提案する。
潜時空間における高密度ハイパーデータ限界における深層カーネル学習の等価性を示す。
予備補間の結果は,提案モデルがGPカーネル構成,DGP変分推論,深層カーネル学習と比較して表現力を示す。
- 参考スコア（独自算出の注目度）: 6.599344783327054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is desirable to combine the expressive power of deep learning with
Gaussian Process (GP) in one expressive Bayesian learning model. Deep kernel
learning proposed in [1] showed success in adopting a deep network for feature
extraction followed by a GP used as function model. Recently, [2] suggested
that the deterministic nature of feature extractor may lead to overfitting
while the replacement with a Bayesian network seemed to cure it. Here, we
propose the conditional Deep Gaussian Process (DGP) in which the intermediate
GPs in hierarchical composition are supported by the hyperdata and the exposed
GP remains zero mean. Motivated by the inducing points in sparse GP, the
hyperdata also play the role of function supports, but are hyperparameters
rather than random variables. We use the moment matching method [3] to
approximate the marginal prior for conditional DGP with a GP carrying an
effective kernel. Thus, as in empirical Bayes, the hyperdata are learned by
optimizing the approximate marginal likelihood which implicitly depends on the
hyperdata via the kernel. We shall show the equivalence with the deep kernel
learning in the limit of dense hyperdata in latent space. However, the
conditional DGP and the corresponding approximate inference enjoy the benefit
of being more Bayesian than deep kernel learning. Preliminary extrapolation
results demonstrate expressive power of the proposed model compared with GP
kernel composition, DGP variational inference, and deep kernel learning. We
also address the non-Gaussian aspect of our model as well as way of upgrading
to a full Bayes inference.
- Abstract（参考訳）: 深層学習の表現力とガウス過程(GP)を1つの表現力のあるベイズ学習モデルで組み合わせることが望ましい。
[1]で提案された深層カーネル学習は、機能抽出にディープネットワークを採用することに成功し、続いてgpが関数モデルとして使用された。
近年, [2] は, 特徴抽出器の決定論的性質が過剰に適合し, ベイズネットワークへの置換がそれを解消する可能性が示唆された。
本稿では,階層構成における中間GPをハイパーデータでサポートし,露出したGPを平均ゼロとする条件付きディープガウス過程(DGP)を提案する。
スパースgpの誘導点に動機づけられ、ハイパーデータは機能サポートの役割も果たすが、確率変数ではなくハイパーパラメータである。
モーメントマッチング法[3]を用いて,実効カーネルを持つGPを用いて条件付きDGPの限界事前を近似する。
したがって、経験ベイズのように、ハイパーデータはカーネルを介してハイパーデータに暗黙的に依存する近似限界確率を最適化することによって学習される。
潜時空間における高密度ハイパーデータ限界における深層カーネル学習の等価性を示す。
しかし、条件付きDGPとそれに対応する近似推論は、深いカーネル学習よりもベイズ的であることの利点を享受する。
予備補間の結果は,提案モデルがGPカーネル構成,DGP変分推論,深層カーネル学習と比較して表現力を示す。
また、我々のモデルにおける非ガウス的側面とベイズ推論にアップグレードする方法についても触れる。
関連論文リスト
- Thin and Deep Gaussian Processes [43.22976185646409]
本研究は,ThinとDeep GP(TDGP)の両アプローチの新しい合成法を提案する。
また,TDGPが入力データ中の低次元多様体を特異的に検出するように調整されていること,TDGPが層数を増やすとうまく振る舞うこと,TDGPが標準ベンチマークデータセットで良好に動作すること,などを理論的および実験的に示す。
論文 参考訳（メタデータ） (2023-10-17T18:50:24Z) - Linear Time GPs for Inferring Latent Trajectories from Neural Spike
Trains [7.936841911281107]
我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。
我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
論文 参考訳（メタデータ） (2023-06-01T16:31:36Z) - Interactive Segmentation as Gaussian Process Classification [58.44673380545409]
クリックベースのインタラクティブセグメンテーション(IS)は、ユーザインタラクション下で対象オブジェクトを抽出することを目的としている。
現在のディープラーニング(DL)ベースの手法のほとんどは、主にセマンティックセグメンテーションの一般的なパイプラインに従っている。
本稿では,各画像上でガウス過程(GP)に基づく画素単位のバイナリ分類モデルとしてISタスクを定式化することを提案する。
論文 参考訳（メタデータ） (2023-02-28T14:01:01Z) - Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。
古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
論文 参考訳（メタデータ） (2022-06-17T19:03:04Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - Robust and Adaptive Temporal-Difference Learning Using An Ensemble of
Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。
OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。
1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文 参考訳（メタデータ） (2021-12-01T23:15:09Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-10-26T10:45:25Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - GP-Tree: A Gaussian Process Classifier for Few-Shot Incremental Learning [23.83961717568121]
GP-Treeはガウス過程と深層カーネル学習を用いた多クラス分類の新しい手法である。
木に基づく階層モデルを構築し,各内部ノードがデータにGPを適合させる。
我々の手法は、クラス数とデータサイズの両方でうまくスケールする。
論文 参考訳（メタデータ） (2021-02-15T22:16:27Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z) - Conditional Deep Gaussian Processes: multi-fidelity kernel learning [6.599344783327053]
固定された低忠実度データにより遅延GPを直接支持する条件付きDGPモデルを提案する。
合成および高次元データを用いた実験は、他の多次元回帰法と同等の性能を示す。
低忠実度データと階層DGP構造により、実効カーネルは真関数の帰納バイアスを符号化する。
論文 参考訳（メタデータ） (2020-02-07T14:56:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。