論文の概要: Fast Approximate Multi-output Gaussian Processes
- arxiv url: http://arxiv.org/abs/2008.09848v1
- Date: Sat, 22 Aug 2020 14:34:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 07:46:49.157884
- Title: Fast Approximate Multi-output Gaussian Processes
- Title（参考訳）: 高速近似多出力ガウス過程
- Authors: Vladimir Joukov and Dana Kuli\'c
- Abstract要約: 提案手法のトレーニングには、$N×n$固有関数行列と$n×n$逆数しか必要とせず、$n$は選択された固有値の数である。
提案手法は,複数の出力に対して回帰し,任意の順序の回帰器の導関数を推定し,それらの相関関係を学習することができる。
- 参考スコア（独自算出の注目度）: 6.6174748514131165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian processes regression models are an appealing machine learning method
as they learn expressive non-linear models from exemplar data with minimal
parameter tuning and estimate both the mean and covariance of unseen points.
However, exponential computational complexity growth with the number of
training samples has been a long standing challenge. During training, one has
to compute and invert an $N \times N$ kernel matrix at every iteration.
Regression requires computation of an $m \times N$ kernel where $N$ and $m$ are
the number of training and test points respectively. In this work we show how
approximating the covariance kernel using eigenvalues and functions leads to an
approximate Gaussian process with significant reduction in training and
regression complexity. Training with the proposed approach requires computing
only a $N \times n$ eigenfunction matrix and a $n \times n$ inverse where $n$
is a selected number of eigenvalues. Furthermore, regression now only requires
an $m \times n$ matrix. Finally, in a special case the hyperparameter
optimization is completely independent form the number of training samples. The
proposed method can regress over multiple outputs, estimate the derivative of
the regressor of any order, and learn the correlations between them. The
computational complexity reduction, regression capabilities, and multioutput
correlation learning are demonstrated in simulation examples.
- Abstract（参考訳）: ガウス過程回帰モデル(Gaussian process regression model)は、パラメータチューニングを最小限とする模範データから表現的非線形モデルを学び、未知点の平均と共分散を推定する、魅力的な機械学習手法である。
しかしながら、トレーニングサンプルの数による指数関数的計算複雑性の増大は、長年の課題であった。
トレーニング中は、繰り返し毎に$N \times N$ kernel matrixを計算し、反転する必要がある。
回帰は$m \times N$ kernelの計算を必要とし、$N$と$m$はそれぞれ、トレーニング数とテストポイント数である。
本稿では,固有値と関数を用いた共分散核の近似が,トレーニングと回帰複雑性の大幅な低減を伴う近似ガウス過程にどのようにつながるかを示す。
提案手法のトレーニングでは、$N \times n$ eigenfunction matrixと$n \times n$ inverseだけを計算し、$n$は選択された固有値の数である。
さらに、回帰には$m \times n$ matrixしか必要ない。
最後に、特別な場合、ハイパーパラメータ最適化はトレーニングサンプルの数によって完全に独立である。
提案手法では,複数の出力をリグレッシブし,任意の順序のレグレッシブの導出を推定し,それらの相関関係を学習できる。
計算複雑性の低減,回帰能力,マルチアウトプット相関学習をシミュレーション例で示す。
関連論文リスト
- Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Scale invariant process regression [0.0]
本稿では,カーネル,長さスケール,分散,事前平均の指定を必要としない新しい回帰手法を提案する。
実験の結果,正規性とスケール・アンド・トランスフォーメーションの不変性のみを仮定することで,作業機械学習手法の導出が可能であることが示唆された。
論文 参考訳（メタデータ） (2022-08-22T17:32:33Z) - Improved Convergence Rates for Sparse Approximation Methods in
Kernel-Based Learning [48.08663378234329]
カーネル・リッジ・レグレッションやガウシアン・プロセスのようなカーネル・ベース・モデルは機械学習の応用においてユビキタスである。
既存のスパース近似法は計算コストを大幅に削減することができる。
我々は,Nystr"om法と疎変動ガウス過程近似法に対して,新しい信頼区間を提供する。
論文 参考訳（メタデータ） (2022-02-08T17:22:09Z) - Efficient and robust high-dimensional sparse logistic regression via
nonlinear primal-dual hybrid gradient algorithms [0.0]
弾性ネットペナルティによって正規化されるロジスティック回帰問題に対する解を確実に計算する反復アルゴリズムを提案する。
この結果は、一階最適化法に対して$O(min(m2n,mn2)log (1/epsilon))$の既知の複雑性境界を改善する。
論文 参考訳（メタデータ） (2021-11-30T14:16:48Z) - Mixability made efficient: Fast online multiclass logistic regression [68.8204255655161]
我々は、混合性は最適な後悔を伴うアルゴリズムを得るための強力なツールであることを示した。
結果として得られる手法は、しばしば計算の複雑さに悩まされ、実用性が低下した。
論文 参考訳（メタデータ） (2021-10-08T08:22:05Z) - Learning to extrapolate using continued fractions: Predicting the
critical temperature of superconductor materials [5.905364646955811]
人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。
トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
論文 参考訳（メタデータ） (2020-11-27T04:57:40Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Coordinate Methods for Matrix Games [41.821881312775496]
我々は,MathcalX max_yinmathY ytop A x$ の $min_x 形式の双線形サドル点問題を解くための主対座標法を開発した。
提案手法は,既存のサブ線形手法を,各項目の複雑性とサンプルの複雑さの観点から限界に推し進める。
論文 参考訳（メタデータ） (2020-09-17T17:55:03Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Quadruply Stochastic Gaussian Processes [10.152838128195466]
本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。
GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
論文 参考訳（メタデータ） (2020-06-04T17:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。