論文の概要: Exact Gaussian Processes for Massive Datasets via Non-Stationary Sparsity-Discovering Kernels

• arxiv url: http://arxiv.org/abs/2205.09070v1
• Date: Wed, 18 May 2022 16:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 12:43:14.137939
• Title: Exact Gaussian Processes for Massive Datasets via Non-Stationary Sparsity-Discovering Kernels
• Title（参考訳）: 非定常スパース性発見カーネルによる大規模データセットの厳密なガウス過程
• Authors: Marcus M. Noack, Harinarayan Krishnan, Mark D. Risser, Kristofer G. Reyes
• Abstract要約: 本稿では,カーネルがスパース構造を誘導する代わりに,自然に構造されたスパース性を活用することを提案する。 超フレキシブル、コンパクトサポート、非定常カーネルの原理とHPCと制約付き最適化を組み合わせることで、500万のデータポイントを超える正確なGPをスケールできる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Gaussian Process (GP) is a prominent mathematical framework for stochastic function approximation in science and engineering applications. This success is largely attributed to the GP's analytical tractability, robustness, non-parametric structure, and natural inclusion of uncertainty quantification. Unfortunately, the use of exact GPs is prohibitively expensive for large datasets due to their unfavorable numerical complexity of $O(N^3)$ in computation and $O(N^2)$ in storage. All existing methods addressing this issue utilize some form of approximation -- usually considering subsets of the full dataset or finding representative pseudo-points that render the covariance matrix well-structured and sparse. These approximate methods can lead to inaccuracies in function approximations and often limit the user's flexibility in designing expressive kernels. Instead of inducing sparsity via data-point geometry and structure, we propose to take advantage of naturally-occurring sparsity by allowing the kernel to discover -- instead of induce -- sparse structure. The premise of this paper is that GPs, in their most native form, are often naturally sparse, but commonly-used kernels do not allow us to exploit this sparsity. The core concept of exact, and at the same time sparse GPs relies on kernel definitions that provide enough flexibility to learn and encode not only non-zero but also zero covariances. This principle of ultra-flexible, compactly-supported, and non-stationary kernels, combined with HPC and constrained optimization, lets us scale exact GPs well beyond 5 million data points.
• Abstract（参考訳）: ガウス過程(英: Gaussian Process、GP)は、科学と工学の応用における確率関数近似の卓越した数学的枠組みである。 この成功はGPの分析的トラクタビリティ、ロバスト性、非パラメトリック構造、不確実な定量化の自然な包含に起因する。 残念ながら、計算では$O(N^3)$、ストレージでは$O(N^2)$であるので、大規模なデータセットでは正確なGPの使用は違法に高価である。 この問題に対処する既存の方法はすべて、ある種の近似(通常、データセットのサブセットを考慮したり、共分散行列をよく構造化されスパース化する代表的擬似点を見つける)を用いる。 これらの近似手法は関数近似の不正確性をもたらし、しばしば表現力のあるカーネルの設計におけるユーザの柔軟性を制限する。 データポイントの幾何や構造によってスパースを誘導するのではなく、カーネルがスパース構造を誘導する代わりに、自然に発生するスパースを利用できるようにすることを提案する。 この論文の前提は、GPは最もネイティブな形で、しばしば自然に疎外されるが、一般的に使用されるカーネルは、この空間を利用できないことである。 中心となる概念である完全かつ同時にスパースgpsはカーネル定義に依存しており、非ゼロだけでなくゼロ共分散も学習しエンコードするのに十分な柔軟性を提供している。 この超フレキシブルでコンパクトで非定常なカーネルの原理は、HPCと制約付き最適化と組み合わせることで、500万のデータポイントを超えて正確にGPをスケールすることができる。

関連論文リスト

• Compactly-supported nonstationary kernels for computing exact Gaussian processes on big data [2.8377382540923004]
  スパーシリティと非定常性の両方を発見およびエンコードできる代替カーネルを導出する。 我々は,既存の精密かつ近似的なGP法と比較して,新しいカーネルの性能を実証する。 また,1日当たりの最大気温を100万回以上測定し,時空間予測を行った。
  論文  参考訳（メタデータ） (2024-11-07T20:07:21Z)
• Higher-order topological kernels via quantum computation [68.8204255655161]
  トポロジカルデータ分析(TDA)は、複雑なデータから意味のある洞察を抽出する強力なツールとして登場した。 本稿では,ベッチ曲線の次数増加に基づくBettiカーネルの量子的定義法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T14:48:52Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Sparse Kernel Gaussian Processes through Iterative Charted Refinement (ICR) [0.0]
  本稿では,ガウス過程をモデル化するためのICR(Iterative Charted Refinement)という新しい生成手法を提案する。 ICRは、様々な解像度でモデル化された場所のビューとユーザが提供する座標チャートを組み合わせることで、長距離および短距離の相関を表現している。 ICRは、CPUとGPUの1桁の計算速度で既存の手法より優れています。
  論文  参考訳（メタデータ） (2022-06-21T18:00:01Z)
• Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
  GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。 古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
  論文  参考訳（メタデータ） (2022-06-17T19:03:04Z)
• Nystr\"om Kernel Mean Embeddings [92.10208929236826]
  Nystr"om法に基づく効率的な近似手法を提案する。 サブサンプルサイズの条件は標準の$n-1/2$レートを得るのに十分である。 本稿では,この結果の最大誤差と二次規則の近似への応用について論じる。
  論文  参考訳（メタデータ） (2022-01-31T08:26:06Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Sparse Gaussian Processes via Parametric Families of Compactly-supported Kernels [0.6091702876917279]
  本稿では,コンパクトなサポートを持つカーネル関数のパラメトリック族を導出する手法を提案する。 この種類のカーネルのパラメータは、最大推定値を用いてデータから学習することができる。 これらの近似は、ターゲットGPから直接描画されたデータをモデル化する際に、正確なモデルに対して最小限の誤差を生じさせることを示す。
  論文  参考訳（メタデータ） (2020-06-05T20:44:09Z)
• Quadruply Stochastic Gaussian Processes [10.152838128195466]
  本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。 GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
  論文  参考訳（メタデータ） (2020-06-04T17:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。