論文の概要: Gaussian Process-Gated Hierarchical Mixtures of Experts

• arxiv url: http://arxiv.org/abs/2302.04947v1
• Date: Thu, 9 Feb 2023 21:39:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 17:04:11.613950
• Title: Gaussian Process-Gated Hierarchical Mixtures of Experts
• Title（参考訳）: ガウス過程による専門家の階層的混合
• Authors: Yuhao Liu, Marzieh Ajirak, Petar Djuric
• Abstract要約: 本稿では,ゲートやエキスパート構築に使用される専門家(GPHME)のプロセス付き階層混合物を提案する。 ゲーティングモデルが入力に線形である他の専門家の混合とは異なり、我々のモデルのゲーティング関数はガウス過程で構築された内部ノードである。
• 参考スコア（独自算出の注目度）: 1.5960546024967326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose novel Gaussian process-gated hierarchical mixtures of experts (GPHMEs) that are used for building gates and experts. Unlike in other mixtures of experts where the gating models are linear to the input, the gating functions of our model are inner nodes built with Gaussian processes based on random features that are non-linear and non-parametric. Further, the experts are also built with Gaussian processes and provide predictions that depend on test data. The optimization of the GPHMEs is carried out by variational inference. There are several advantages of the proposed GPHMEs. One is that they outperform tree-based HME benchmarks that partition the data in the input space. Another advantage is that they achieve good performance with reduced complexity. A third advantage of the GPHMEs is that they provide interpretability of deep Gaussian processes and more generally of deep Bayesian neural networks. Our GPHMEs demonstrate excellent performance for large-scale data sets even with quite modest sizes.
• Abstract（参考訳）: 本稿では,ゲートとエキスパートを構築するために使用される,ガウスのプロセス付き階層型専門家混合(GPHME)を提案する。 ゲーティングモデルが入力に線形である他の専門家の混合とは異なり、我々のモデルのゲーティング関数は、非線形で非パラメトリックなランダムな特徴に基づいてガウス過程で構築された内部ノードである。 さらに、専門家はガウスプロセスで構築され、テストデータに依存する予測を提供する。 GPHMEの最適化は変分推論によって行われる。 GPHMEにはいくつかの利点がある。 1つは、入力空間でデータを分割するツリーベースのhmeベンチマークよりも優れています。 もうひとつの利点は、複雑さを減らすことで優れたパフォーマンスを実現することです。 GPHMEの3つ目の利点は、深いガウス過程とより一般的に深いベイズニューラルネットワークの解釈可能性を提供することである。 我々のGPHMEは、非常に控えめなサイズであっても、大規模データセットに対して優れた性能を示す。

関連論文リスト

• Domain Invariant Learning for Gaussian Processes and Bayesian Exploration [39.83530605880014]
  そこで本研究では,確率を最小限に最適化したガウス過程(DIL-GP)の領域不変学習アルゴリズムを提案する。 数値実験により、複数の合成および実世界のデータセットの予測におけるDIL-GPの優位性を示す。
  論文  参考訳（メタデータ） (2023-12-18T16:13:34Z)
• Posterior Contraction Rates for Mat\'ern Gaussian Processes on Riemannian Manifolds [51.68005047958965]
  我々は,本質的なガウス過程が実際により優れた性能を発揮することを示す。 我々の研究は、データ効率の異なるレベルを区別するために、よりきめ細かい分析が必要であることを示している。
  論文  参考訳（メタデータ） (2023-09-19T20:30:58Z)
• Interactive Segmentation as Gaussian Process Classification [58.44673380545409]
  クリックベースのインタラクティブセグメンテーション(IS)は、ユーザインタラクション下で対象オブジェクトを抽出することを目的としている。 現在のディープラーニング(DL)ベースの手法のほとんどは、主にセマンティックセグメンテーションの一般的なパイプラインに従っている。 本稿では,各画像上でガウス過程(GP)に基づく画素単位のバイナリ分類モデルとしてISタスクを定式化することを提案する。
  論文  参考訳（メタデータ） (2023-02-28T14:01:01Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• A Sparse Expansion For Deep Gaussian Processes [33.29293167413832]
  ガウス過程(TMGP)に基づいた高精度な推論と効率的なトレーニングのための効率的なスキームを提案する。 合成モデルと実データセットに関する数値実験により、既存のDGPモデルよりもDTMGPの計算効率が優れていることを示した。
  論文  参考訳（メタデータ） (2021-12-11T00:59:33Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Sparse Gaussian Process Variational Autoencoders [24.86751422740643]
  既存のGP-DGMにおける推論のアプローチは、点に基づくスパースGP近似をサポートしない。 我々は,スパースGP近似のパラメータ化に部分的推論ネットワークを用いることで特徴付けられるスパースガウス過程変動オートエンコーダ(GP-VAE)を開発した。
  論文  参考訳（メタデータ） (2020-10-20T10:19:56Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Fast Deep Mixtures of Gaussian Process Experts [0.6554326244334868]
  教師付き学習コンテキストにおけるフレキシブルなモデリングには,専門家の混在が不可欠である。 本稿では、ディープニューラルネットワーク(DNN)を用いて、スパースGPから専門家を選択するためのゲーティングネットワークの設計を提案する。 CCR (Cluster-Classify-Regress) と呼ばれる高速なワンパスアルゴリズムを用いて、最大後部推定器(MAP)を極端に高速に近似する。
  論文  参考訳（メタデータ） (2020-06-11T18:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。