論文の概要: Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process
Regression with Mat\'ern Correlations
- arxiv url: http://arxiv.org/abs/2203.03116v2
- Date: Wed, 9 Mar 2022 23:09:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-12 05:00:50.034243
- Title: Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process
Regression with Mat\'ern Correlations
- Title（参考訳）: Kernel Packet: Mat\'ern相関を用いたガウスプロセス回帰のための厳密でスケーラブルなアルゴリズム
- Authors: Haoyuan Chen, Liang Ding, Rui Tuo
- Abstract要約: マタン相関を用いた1次元ガウス過程回帰のための正確でスケーラブルなアルゴリズムを開発した。
提案アルゴリズムは,計算時間と予測精度の両方において,既存の代替手法よりもはるかに優れている。
- 参考スコア（独自算出の注目度）: 23.560067934682294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop an exact and scalable algorithm for one-dimensional Gaussian
process regression with Mat\'ern correlations whose smoothness parameter $\nu$
is a half-integer. The proposed algorithm only requires $\mathcal{O}(\nu^3 n)$
operations and $\mathcal{O}(\nu n)$ storage. This leads to a linear-cost solver
since $\nu$ is chosen to be fixed and usually very small in most applications.
The proposed method can be applied to multi-dimensional problems if a full grid
or a sparse grid design is used. The proposed method is based on a novel theory
for Mat\'ern correlation functions. We find that a suitable rearrangement of
these correlation functions can produce a compactly supported function, called
a "kernel packet". Using a set of kernel packets as basis functions leads to a
sparse representation of the covariance matrix that results in the proposed
algorithm. Simulation studies show that the proposed algorithm, when
applicable, is significantly superior to the existing alternatives in both the
computational time and predictive accuracy.
- Abstract（参考訳）: 滑らか度パラメータ$\nu$が半整数であるようなMat\'ern相関を用いた1次元ガウス過程回帰の正確かつスケーラブルなアルゴリズムを開発した。
提案されたアルゴリズムは$\mathcal{o}(\nu^3 n)$演算と$\mathcal{o}(\nu n)$ストレージのみを必要とする。
これは、$\nu$ が修正され、通常ほとんどのアプリケーションで非常に小さいため、線形コストの解法をもたらす。
提案手法は, フルグリッドやスパースグリッドを用いた場合の多次元問題に適用可能である。
提案手法は,Mat\'ern相関関数の新たな理論に基づく。
これらの相関関数の適切な再配置は、カーネルパケットと呼ばれるコンパクトにサポートされた関数を生成することができる。
基底関数としてカーネルパケットの集合を用いると、共分散行列がスパース表現され、アルゴリズムが提案される。
シミュレーション研究により、提案アルゴリズムは適用可能な場合、計算時間と予測精度の両方において既存のアルゴリズムよりも大幅に優れていることが示された。
関連論文リスト
- Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳（メタデータ） (2023-07-24T14:37:22Z) - An Oblivious Stochastic Composite Optimization Algorithm for Eigenvalue
Optimization Problems [76.2042837251496]
相補的な合成条件に基づく2つの難解なミラー降下アルゴリズムを導入する。
注目すべきは、どちらのアルゴリズムも、目的関数のリプシッツ定数や滑らかさに関する事前の知識なしで機能する。
本稿では,大規模半確定プログラム上での手法の効率性とロバスト性を示す。
論文 参考訳（メタデータ） (2023-06-30T08:34:29Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳（メタデータ） (2022-07-18T12:03:26Z) - Optimal Gradient Sliding and its Application to Distributed Optimization
Under Similarity [121.83085611327654]
積 $r:=p + q$, ここで$r$は$mu$-strong convex類似性である。
エージェントの通信やローカルコールにマスターされた問題を解決する方法を提案する。
提案手法は$mathcalO(sqrtL_q/mu)$法よりもはるかにシャープである。
論文 参考訳（メタデータ） (2022-05-30T14:28:02Z) - PROMPT: Parallel Iterative Algorithm for $\ell_{p}$ norm linear
regression via Majorization Minimization with an application to
semi-supervised graph learning [0.0]
スパースリカバリ,データクラスタリング,半教師付き学習など,いくつかの応用がある。
我々は、MajolizaTion Minimization (PROMPT)による$ell_P$ノルム回帰のための並列反復AlgOrithMを提案する。
論文 参考訳（メタデータ） (2021-10-23T10:19:11Z) - Hutch++: Optimal Stochastic Trace Estimation [75.45968495410048]
我々は、任意の正半定値(PSD)$A$に対して、$(1 pm epsilon)$を$tr(A)$に近似する新しいランダム化アルゴリズムであるHutch++を導入する。
実験ではハッチンソン法を著しく上回る結果を得た。
論文 参考訳（メタデータ） (2020-10-19T16:45:37Z) - Convergence of Sparse Variational Inference in Gaussian Processes
Regression [29.636483122130027]
計算コストが$mathcalO(log N)2D(log N)2)$の手法を推論に利用できることを示す。
論文 参考訳（メタデータ） (2020-08-01T19:23:34Z) - Maximizing Determinants under Matroid Constraints [69.25768526213689]
我々は、$det(sum_i in Sv_i v_i v_itop)$が最大になるような基底を$S$$$$M$とする問題を研究する。
この問題は、実験的なデザイン、商品の公平な割り当て、ネットワーク設計、機械学習など、さまざまな分野に現れている。
論文 参考訳（メタデータ） (2020-04-16T19:16:38Z) - Efficient algorithms for multivariate shape-constrained convex
regression problems [9.281671380673306]
最小二乗推定器は、制約付き凸プログラミング(QP)問題を$(n+1)d$変数と少なくとも$n(n-1)$線形不等式制約で解くことで計算可能であることを証明している。
一般に非常に大規模な凸QPを解くために、我々は2つの効率的なアルゴリズムを設計する。1つは対称ガウス・シーデルに基づく乗算器の交互方向法(tt sGS-ADMM)であり、もう1つは半滑らかニュートン法(tt)によって解かれる部分プロブレムを持つ近似拡張ラグランジアン法(tt pALM)である。
論文 参考訳（メタデータ） (2020-02-26T11:18:43Z) - Learning Sparse Classifiers: Continuous and Mixed Integer Optimization
Perspectives [10.291482850329892]
混合整数計画法(MIP)は、(最適に) $ell_0$-正規化回帰問題を解くために用いられる。
数分で5万ドルの機能を処理できる正確なアルゴリズムと、$papprox6$でインスタンスに対処できる近似アルゴリズムの2つのクラスを提案する。
さらに,$ell$-regularizedsに対する新しい推定誤差境界を提案する。
論文 参考訳（メタデータ） (2020-01-17T18:47:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。