論文の概要: Gauss-Legendre Features for Gaussian Process Regression

• arxiv url: http://arxiv.org/abs/2101.01137v2
• Date: Tue, 5 Jan 2021 13:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 22:47:18.672260
• Title: Gauss-Legendre Features for Gaussian Process Regression
• Title（参考訳）: Gauss-Legendreによるガウス過程の回帰
• Authors: Paz Fink Shustin, Haim Avron
• Abstract要約: カーネル行列の低階近似を用いてガウス過程の回帰をスケールアップするためのガウス・レーゲンドル二次法を提案する。 この手法はよく知られたランダムなフーリエ特徴法に触発され、数値積分による低ランク近似も構築する。
• 参考スコア（独自算出の注目度）: 7.37712470421917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes provide a powerful probabilistic kernel learning framework, which allows learning high quality nonparametric regression models via methods such as Gaussian process regression. Nevertheless, the learning phase of Gaussian process regression requires massive computations which are not realistic for large datasets. In this paper, we present a Gauss-Legendre quadrature based approach for scaling up Gaussian process regression via a low rank approximation of the kernel matrix. We utilize the structure of the low rank approximation to achieve effective hyperparameter learning, training and prediction. Our method is very much inspired by the well-known random Fourier features approach, which also builds low-rank approximations via numerical integration. However, our method is capable of generating high quality approximation to the kernel using an amount of features which is poly-logarithmic in the number of training points, while similar guarantees will require an amount that is at the very least linear in the number of training points when random Fourier features. Furthermore, the structure of the low-rank approximation that our method builds is subtly different from the one generated by random Fourier features, and this enables much more efficient hyperparameter learning. The utility of our method for learning with low-dimensional datasets is demonstrated using numerical experiments.
• Abstract（参考訳）: ガウス過程は強力な確率的カーネル学習フレームワークを提供し、ガウス過程回帰のような手法で高品質な非パラメトリック回帰モデルを学ぶことができる。 それでも、ガウス過程回帰の学習フェーズでは、大規模なデータセットでは現実的ではない大量の計算が必要である。 本稿では,カーネル行列の低階近似を用いてガウス過程の回帰をスケールアップするためのガウス・ルゲンドル二次法を提案する。 我々は,低階近似の構造を利用して,効果的なハイパーパラメータ学習,トレーニング,予測を行う。 本手法は,数値積分による低ランク近似も構築する,よく知られたランダムフーリエ特徴量アプローチに強く影響されている。 しかし,本手法では,訓練点数において多対数である特徴量を用いて,カーネルに対する高品質な近似を生成できるが,同様の保証にはランダムなフーリエ特徴量の場合,訓練点数において少なくとも線形な量が必要となる。 さらに,この手法が構築する低ランク近似の構造は,ランダムフーリエ特徴によって生成されたものとは微妙に異なるため,より効率的なハイパーパラメータ学習が可能となる。 低次元データセットを用いた学習法の有用性を数値実験により検証した。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• Local Random Feature Approximations of the Gaussian Kernel [14.230653042112834]
  本稿では,一般的なガウスカーネルと,ランダムな特徴近似を用いてカーネルベースモデルを線形化する手法に着目する。 このような手法は、高周波データをモデル化する際、悪い結果をもたらすことを示すとともに、カーネル近似と下流性能を大幅に改善する新たなローカライズ手法を提案する。
  論文  参考訳（メタデータ） (2022-04-12T09:52:36Z)
• Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
  我々はガウス過程の適用性を高める技術を開発した。 この観点から構築した効率的な近似を幅広く導入する。 非ユークリッド空間上のガウス過程モデルの集合を開発する。
  論文  参考訳（メタデータ） (2022-02-22T01:42:57Z)
• Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning [48.08663378234329]
  カーネル・リッジ・レグレッションやガウシアン・プロセスのようなカーネル・ベース・モデルは機械学習の応用においてユビキタスである。 既存のスパース近似法は計算コストを大幅に削減することができる。 我々は,Nystr"om法と疎変動ガウス過程近似法に対して,新しい信頼区間を提供する。
  論文  参考訳（メタデータ） (2022-02-08T17:22:09Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Mat\'ern Gaussian Processes on Graphs [67.13902825728718]
  我々は、マタン・ガウス過程の偏微分方程式のキャラクタリゼーションを利用して、そのアナログを無向グラフに対して研究する。 得られたガウス過程がユークリッドアナログやユークリッドアナログの様々な魅力的な性質を継承することを示す。 これにより、グラフのMat'ern Gaussianプロセスがミニバッチや非共役設定に使用できる。
  論文  参考訳（メタデータ） (2020-10-29T13:08:07Z)
• Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
  ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。 重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-03-21T21:41:16Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。