論文の概要: Thin and Deep Gaussian Processes

• arxiv url: http://arxiv.org/abs/2310.11527v1
• Date: Tue, 17 Oct 2023 18:50:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 18:36:29.490047
• Title: Thin and Deep Gaussian Processes
• Title（参考訳）: 薄くて深いガウス過程
• Authors: Daniel Augusto de Souza, Alexander Nikitin, ST John, Magnus Ross, Mauricio A. \'Alvarez, Marc Peter Deisenroth, Jo\~ao P. P. Gomes, Diego Mesquita, and C\'esar Lincoln C. Mattos
• Abstract要約: 本研究は,ThinとDeep GP(TDGP)の両アプローチの新しい合成法を提案する。 また,TDGPが入力データ中の低次元多様体を特異的に検出するように調整されていること,TDGPが層数を増やすとうまく振る舞うこと,TDGPが標準ベンチマークデータセットで良好に動作すること,などを理論的および実験的に示す。
• 参考スコア（独自算出の注目度）: 43.22976185646409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes (GPs) can provide a principled approach to uncertainty quantification with easy-to-interpret kernel hyperparameters, such as the lengthscale, which controls the correlation distance of function values. However, selecting an appropriate kernel can be challenging. Deep GPs avoid manual kernel engineering by successively parameterizing kernels with GP layers, allowing them to learn low-dimensional embeddings of the inputs that explain the output data. Following the architecture of deep neural networks, the most common deep GPs warp the input space layer-by-layer but lose all the interpretability of shallow GPs. An alternative construction is to successively parameterize the lengthscale of a kernel, improving the interpretability but ultimately giving away the notion of learning lower-dimensional embeddings. Unfortunately, both methods are susceptible to particular pathologies which may hinder fitting and limit their interpretability. This work proposes a novel synthesis of both previous approaches: Thin and Deep GP (TDGP). Each TDGP layer defines locally linear transformations of the original input data maintaining the concept of latent embeddings while also retaining the interpretation of lengthscales of a kernel. Moreover, unlike the prior solutions, TDGP induces non-pathological manifolds that admit learning lower-dimensional representations. We show with theoretical and experimental results that i) TDGP is, unlike previous models, tailored to specifically discover lower-dimensional manifolds in the input data, ii) TDGP behaves well when increasing the number of layers, and iii) TDGP performs well in standard benchmark datasets.
• Abstract（参考訳）: ガウス過程(GP)は、関数値の相関距離を制御する長さスケールのような、容易に解釈可能なカーネルハイパーパラメータによる不確実性定量化への原則的なアプローチを提供することができる。 しかし、適切なカーネルの選択は困難である。 深いgpsはgp層でカーネルを逐次パラメータ化し、出力データを説明する入力の低次元埋め込みを学習することで、手動のカーネルエンジニアリングを避ける。 ディープニューラルネットワークのアーキテクチャに従い、最も一般的なディープgpsは入力空間を層々に重ねるが、浅いgpsの解釈性は失われる。 別の構成として、カーネルの長さスケールを逐次パラメータ化し、解釈性を改善するが、最終的には低次元埋め込みの学習の概念を放棄する。 残念ながら、どちらの方法も特定の病態に影響を受けやすいため、適合を妨げ、解釈可能性を制限することができる。 本研究は, 従来のアプローチであるThinとDeep GP(TDGP)の新しい合成法を提案する。 各tdgp層は、潜在埋め込みの概念を維持しつつ、カーネルの長さスケールの解釈を保ちながら、元の入力データの局所線形変換を定義する。 さらに、以前の解とは異なり、TDGPは低次元表現の学習を認める非病理学的多様体を誘導する。 理論的、実験的な結果で示します i) TDGPは、以前のモデルとは異なり、入力データ中の低次元多様体を特に発見するように調整されている。 二 層数を増加させたときのTDGPの挙動 三 標準ベンチマークデータセットにおいて、TDGPがよく機能する。

関連論文リスト

• Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
  我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。 我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
  論文  参考訳（メタデータ） (2023-06-01T16:31:36Z)
• Interactive Segmentation as Gaussian Process Classification [58.44673380545409]
  クリックベースのインタラクティブセグメンテーション(IS)は、ユーザインタラクション下で対象オブジェクトを抽出することを目的としている。 現在のディープラーニング(DL)ベースの手法のほとんどは、主にセマンティックセグメンテーションの一般的なパイプラインに従っている。 本稿では,各画像上でガウス過程(GP)に基づく画素単位のバイナリ分類モデルとしてISタスクを定式化することを提案する。
  論文  参考訳（メタデータ） (2023-02-28T14:01:01Z)
• Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
  GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。 古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
  論文  参考訳（メタデータ） (2022-06-17T19:03:04Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning [6.599344783327054]
  本稿では,階層構成における中間GPをハイパーデータでサポートする条件付きDeep Gaussian Process (DGP)を提案する。 潜時空間における高密度ハイパーデータ限界における深層カーネル学習の等価性を示す。 予備補間の結果は,提案モデルがGPカーネル構成,DGP変分推論,深層カーネル学習と比較して表現力を示す。
  論文  参考訳（メタデータ） (2021-10-01T17:50:48Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)
• Conditional Deep Gaussian Processes: multi-fidelity kernel learning [6.599344783327053]
  固定された低忠実度データにより遅延GPを直接支持する条件付きDGPモデルを提案する。 合成および高次元データを用いた実験は、他の多次元回帰法と同等の性能を示す。 低忠実度データと階層DGP構造により、実効カーネルは真関数の帰納バイアスを符号化する。
  論文  参考訳（メタデータ） (2020-02-07T14:56:11Z)
• SGP-DT: Semantic Genetic Programming Based on Dynamic Targets [6.841231589814175]
  本稿では動的ターゲット(SGP-DT)に基づく新しいセマンティックGP手法を提案する。 各ランの進化は、残差に基づいて新しい(動的)ターゲットによって導かれる。 SGP-DTは、エプシロン・レキシケースよりも平均23.19%小さいRMSE値を得る。
  論文  参考訳（メタデータ） (2020-01-30T19:33:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。