論文の概要: Deep Latent-Variable Kernel Learning

• arxiv url: http://arxiv.org/abs/2005.08467v2
• Date: Wed, 19 Aug 2020 04:46:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 22:54:29.453873
• Title: Deep Latent-Variable Kernel Learning
• Title（参考訳）: 潜時可変カーネル学習
• Authors: Haitao Liu, Yew-Soon Ong, Xiaomo Jiang, Xiaofang Wang
• Abstract要約: 本稿では,潜在変数が正規化表現の符号化を行う完全潜時可変カーネル学習(DLVKL)モデルを提案する。 実験により、DLVKL-NSDEは、小さなデータセット上でよく校正されたGPと同様に動作し、大きなデータセット上で既存のディープGPより優れていることが示された。
• 参考スコア（独自算出の注目度）: 25.356503463916816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep kernel learning (DKL) leverages the connection between Gaussian process (GP) and neural networks (NN) to build an end-to-end, hybrid model. It combines the capability of NN to learn rich representations under massive data and the non-parametric property of GP to achieve automatic regularization that incorporates a trade-off between model fit and model complexity. However, the deterministic encoder may weaken the model regularization of the following GP part, especially on small datasets, due to the free latent representation. We therefore present a complete deep latent-variable kernel learning (DLVKL) model wherein the latent variables perform stochastic encoding for regularized representation. We further enhance the DLVKL from two aspects: (i) the expressive variational posterior through neural stochastic differential equation (NSDE) to improve the approximation quality, and (ii) the hybrid prior taking knowledge from both the SDE prior and the posterior to arrive at a flexible trade-off. Intensive experiments imply that the DLVKL-NSDE performs similarly to the well calibrated GP on small datasets, and outperforms existing deep GPs on large datasets.
• Abstract（参考訳）: ディープカーネル学習(DKL)は、ガウスプロセス(GP)とニューラルネットワーク(NN)の接続を利用して、エンドツーエンドのハイブリッドモデルを構築する。 大規模データの下でリッチ表現を学習するNNの能力とGPの非パラメトリック特性を組み合わせて、モデル適合とモデル複雑性のトレードオフを含む自動正規化を実現する。 しかし、決定論的エンコーダは、自由潜在表現のため、以下のgp部分、特に小さなデータセットのモデル正規化を弱める可能性がある。 そこで我々は,潜在変数が正規化表現に対して確率符号化を行う完全潜時可変カーネル学習(DLVKL)モデルを提案する。 我々はDLVKLをさらに2つの側面から強化する。 一 近似品質を向上させるための神経確率微分方程式(NSDE)による表現的変動後部 (二)SDE前及び後部から知識を得てフレキシブルなトレードオフにたどり着くハイブリッド 集中的な実験は、DLVKL-NSDEが小さなデータセット上でよく校正されたGPと同様に動作し、大きなデータセット上で既存のディープGPより優れていることを示唆している。

関連論文リスト

• Latent Variable Double Gaussian Process Model for Decoding Complex Neural Data [0.0]
  ガウス過程(GP)のような非パラメトリックモデルは、複素データの解析において有望な結果を示す。 GPモデルに基づくニューラルデコーダモデルを提案する。 本稿では,このデコーダモデルの言語記憶実験データセットへの適用例を示す。
  論文  参考訳（メタデータ） (2024-05-08T20:49:34Z)
• Gaussian Process Neural Additive Models [3.7969209746164325]
  ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。 GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。 GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T20:29:34Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
  我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。 我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
  論文  参考訳（メタデータ） (2023-06-01T16:31:36Z)
• Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks [0.0]
  レグレッションタスクでは、標準ガウス過程(GP)は自然な不確実性定量化を提供し、ディープニューラルネットワーク(DNN)は表現学習に優れる。 本稿では,DNNの隠れ層の出力に基づいて構築されたGPのアンサンブルからなるハイブリッド手法で,これらの2つの手法を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2023-05-26T16:19:26Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。