論文の概要: Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning

• arxiv url: http://arxiv.org/abs/2202.04005v1
• Date: Tue, 8 Feb 2022 17:22:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 14:54:33.956539
• Title: Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning
• Title（参考訳）: カーネル学習におけるスパース近似法の収束率の改善
• Authors: Sattar Vakili, Jonathan Scarlett, Da-shan Shiu, Alberto Bernacchia
• Abstract要約: カーネル・リッジ・レグレッションやガウシアン・プロセスのようなカーネル・ベース・モデルは機械学習の応用においてユビキタスである。 既存のスパース近似法は計算コストを大幅に削減することができる。 我々は,Nystr"om法と疎変動ガウス過程近似法に対して,新しい信頼区間を提供する。
• 参考スコア（独自算出の注目度）: 48.08663378234329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kernel-based models such as kernel ridge regression and Gaussian processes are ubiquitous in machine learning applications for regression and optimization. It is well known that a serious downside for kernel-based models is the high computational cost; given a dataset of $n$ samples, the cost grows as $\mathcal{O}(n^3)$. Existing sparse approximation methods can yield a significant reduction in the computational cost, effectively reducing the real world cost down to as low as $\mathcal{O}(n)$ in certain cases. Despite this remarkable empirical success, significant gaps remain in the existing results for the analytical confidence bounds on the error due to approximation. In this work, we provide novel confidence intervals for the Nystr\"om method and the sparse variational Gaussian processes approximation method. Our confidence intervals lead to improved error bounds in both regression and optimization. We establish these confidence intervals using novel interpretations of the approximate (surrogate) posterior variance of the models.
• Abstract（参考訳）: kernel ridge regressionやgaussian processといったカーネルベースのモデルは、回帰と最適化のための機械学習アプリケーションにおいてユビキタスである。 カーネルベースのモデルの深刻な欠点は高い計算コストであることはよく知られており、$n$サンプルのデータセットを考えると、コストは$\mathcal{O}(n^3)$として増加する。 既存のスパース近似法は計算コストを大幅に削減することができ、実世界のコストを特定のケースでは$\mathcal{o}(n)$ まで下げることができる。 この顕著な成功にもかかわらず、近似による誤差に対する分析的信頼範囲の既存の結果には大きなギャップが残っている。 本研究では,new confidence intervals for the nystr\"om method と sparse variational gaussian processes approximation method を提案する。 私たちの信頼区間は、回帰と最適化の両方においてエラー境界を改善します。 これらの信頼区間を,モデルの近似(サロゲート)後方分散の新しい解釈を用いて確立する。

関連論文リスト

• Linear cost and exponentially convergent approximation of Gaussian Matérn processes [43.341057405337295]
  ガウス過程に基づく統計モデルの推測と予測のための計算コストは、観測数に応じて3倍にスケールする。 本研究では,線形コストと共分散誤差が指数関数的に高速に減少する手法を提案近似の$m$で開発する。 この方法はスペクトル密度の最適な有理近似に基づいており、その結果、$m$独立マルコフ過程の和として表される近似が得られる。
  論文  参考訳（メタデータ） (2024-10-16T19:57:15Z)
• Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
  本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。 また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2024-05-23T12:25:22Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Linear Time Kernel Matrix Approximation via Hyperspherical Harmonics [3.24890820102255]
  機械学習のカーネル手法で発生する行列の低ランク近似を構築するための新しい手法を提案する。 提案手法では,基礎となるカーネル関数の解析的拡張をデータ依存圧縮ステップと組み合わせて,近似をさらに最適化する。 実験の結果,提案手法は,与えられたランクの精度と,与えられた精度の計算時間の両方に関して,カーネル,次元,データセットにまたがってよく用いられるNystrom法と比較した。
  論文  参考訳（メタデータ） (2022-02-08T05:19:39Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Gauss-Legendre Features for Gaussian Process Regression [7.37712470421917]
  カーネル行列の低階近似を用いてガウス過程の回帰をスケールアップするためのガウス・レーゲンドル二次法を提案する。 この手法はよく知られたランダムなフーリエ特徴法に触発され、数値積分による低ランク近似も構築する。
  論文  参考訳（メタデータ） (2021-01-04T18:09:25Z)
• Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the Predictive Uncertainties [12.068153197381575]
  高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。 新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。 優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
  論文  参考訳（メタデータ） (2020-05-22T11:10:59Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。