論文の概要: Learning Compositional Sparse Gaussian Processes with a Shrinkage Prior
- arxiv url: http://arxiv.org/abs/2012.11339v2
- Date: Wed, 24 Feb 2021 07:11:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 06:44:51.947625
- Title: Learning Compositional Sparse Gaussian Processes with a Shrinkage Prior
- Title(参考訳): 収縮前処理による構成スパースガウス過程の学習
- Authors: Anh Tong, Toan Tran, Hung Bui, Jaesik Choi
- Abstract要約: 本稿では,カーネル選択のスパーシティをホースシュープリアーで処理することにより,カーネル構成を学習するための新しい確率論的アルゴリズムを提案する。
本モデルは,計算時間を大幅に削減した時系列特性をキャプチャし,実世界のデータセット上での競合回帰性能を有する。
- 参考スコア(独自算出の注目度): 26.52863547394537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Choosing a proper set of kernel functions is an important problem in learning
Gaussian Process (GP) models since each kernel structure has different model
complexity and data fitness. Recently, automatic kernel composition methods
provide not only accurate prediction but also attractive interpretability
through search-based methods. However, existing methods suffer from slow kernel
composition learning. To tackle large-scaled data, we propose a new sparse
approximate posterior for GPs, MultiSVGP, constructed from groups of inducing
points associated with individual additive kernels in compositional kernels. We
demonstrate that this approximation provides a better fit to learn
compositional kernels given empirical observations. We also provide
theoretically justification on error bound when compared to the traditional
sparse GP. In contrast to the search-based approach, we present a novel
probabilistic algorithm to learn a kernel composition by handling the sparsity
in the kernel selection with Horseshoe prior. We demonstrate that our model can
capture characteristics of time series with significant reductions in
computational time and have competitive regression performance on real-world
data sets.
- Abstract(参考訳): カーネル関数の適切なセットを選択することは、各カーネル構造が異なるモデル複雑さとデータ適合性を持つため、ガウス過程(GP)モデルを学習する上で重要な問題である。
近年, 自動カーネル合成法は, 正確な予測だけでなく, 検索による解釈性も向上している。
しかし,既存の手法ではカーネル合成学習が遅い。
大規模データに対処するため,合成カーネル内の個々の加法的カーネルに関連付けられた点群から構築した,GPのスパース近似後進MultiSVGPを提案する。
この近似は経験的観察から合成カーネルを学習するのに適していることを示す。
また,従来のsparse gpと比較して誤差境界を理論的に正当化する。
探索に基づくアプローチとは対照的に,Horseshoe を用いたカーネル選択におけるスパーシリティを扱うことにより,カーネル構成を学習するための新しい確率論的アルゴリズムを提案する。
本モデルは,計算時間を大幅に削減した時系列特性をキャプチャし,実世界のデータセット上での競合回帰性能を発揮できることを実証する。
関連論文リスト
- An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。
この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
論文 参考訳(メタデータ) (2023-08-01T20:22:53Z) - Efficient Convex Algorithms for Universal Kernel Learning [50.877957471649395]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-15T04:57:37Z) - Structural Kernel Search via Bayesian Optimization and Symbolical
Optimal Transport [5.1672267755831705]
ガウスのプロセスでは、カーネルの選択は重要なタスクであり、しばしば専門家が手動で行う。
本稿では,カーネル空間を包含する新しい効率的な探索法を提案する。
論文 参考訳(メタデータ) (2022-10-21T09:30:21Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。
エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。
タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文 参考訳(メタデータ) (2021-07-12T22:09:30Z) - Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。
我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。
CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文 参考訳(メタデータ) (2021-06-15T04:44:52Z) - MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。
マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
論文 参考訳(メタデータ) (2021-05-08T21:24:09Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Graph-Aided Online Multi-Kernel Learning [12.805267089186533]
本稿では, 良好な関数近似を提供する辞書から, データ駆動によるカーネルの選択について検討する。
カーネル間の類似性に基づいて、新しいフレームワークは、カーネルのサブセットの選択を支援するためにグラフを構築し、洗練する。
提案アルゴリズムは、最先端のグラフベースのオンラインMKL代替品と比較して、より厳密なサブ線形後悔を享受する。
論文 参考訳(メタデータ) (2021-02-09T07:43:29Z) - Generalized vec trick for fast learning of pairwise kernel models [3.867363075280544]
本稿では、オブジェクト間の関係に関する事前知識を組み込むために提案されている、ペアワイズカーネルの包括的なレビューを紹介する。
レビューされたすべてのカーネルがKronecker製品の和として表現できることを示し、一般化されたvecトリックを使用して計算を高速化する。
論文 参考訳(メタデータ) (2020-09-02T13:27:51Z) - Sparse Gaussian Processes via Parametric Families of Compactly-supported
Kernels [0.6091702876917279]
本稿では,コンパクトなサポートを持つカーネル関数のパラメトリック族を導出する手法を提案する。
この種類のカーネルのパラメータは、最大推定値を用いてデータから学習することができる。
これらの近似は、ターゲットGPから直接描画されたデータをモデル化する際に、正確なモデルに対して最小限の誤差を生じさせることを示す。
論文 参考訳(メタデータ) (2020-06-05T20:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。