論文の概要: Faster Kernel Interpolation for Gaussian Processes

• arxiv url: http://arxiv.org/abs/2101.11751v1
• Date: Thu, 28 Jan 2021 00:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-01-31 22:27:24.585339
• Title: Faster Kernel Interpolation for Gaussian Processes
• Title（参考訳）: ガウス過程の高速カーネル補間
• Authors: Mohit Yadav, Daniel Sheldon, Cameron Musco
• Abstract要約: 大規模データセットへのプロセス(GP)回帰のスケーリングにおける重要な課題は、正確な推論がnxnのカーネル行列を必要とすることである。 構造化カーネル(SKI)は最もスケーラブルな方法の一つである。 1つのO(n)時間前計算ステップの後、SKIをO(m log m)に還元できることが示される。 我々は, m と n の広い範囲で実際に高速化を実演し, 1億点を超える3次元気象レーダデータセット上でGP推定に適用した。
• 参考スコア（独自算出の注目度）: 30.04235162264955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key challenge in scaling Gaussian Process (GP) regression to massive datasets is that exact inference requires computation with a dense n x n kernel matrix, where n is the number of data points. Significant work focuses on approximating the kernel matrix via interpolation using a smaller set of m inducing points. Structured kernel interpolation (SKI) is among the most scalable methods: by placing inducing points on a dense grid and using structured matrix algebra, SKI achieves per-iteration time of O(n + m log m) for approximate inference. This linear scaling in n enables inference for very large data sets; however the cost is per-iteration, which remains a limitation for extremely large n. We show that the SKI per-iteration time can be reduced to O(m log m) after a single O(n) time precomputation step by reframing SKI as solving a natural Bayesian linear regression problem with a fixed set of m compact basis functions. With per-iteration complexity independent of the dataset size n for a fixed grid, our method scales to truly massive data sets. We demonstrate speedups in practice for a wide range of m and n and apply the method to GP inference on a three-dimensional weather radar dataset with over 100 million points.
• Abstract（参考訳）: ガウス過程(GP)の回帰を大規模データセットにスケールする上で重要な課題は、正確な推論には、n がデータポイントの数である密度の高い n x n カーネル行列による計算が必要であることである。 重要な仕事は、m誘導点の小さなセットを使用して補間を介してカーネル行列を近似することに焦点を当てている。 SKI(Structured kernel Interpolation)は、高密度格子上に点を配置し、構造化行列代数を用いて、近似推論のためのO(n + m log m)の定位時間を達成する、最もスケーラブルな方法の一つである。 このnの線形スケーリングは、非常に大きなデータセットの推論を可能にするが、コストは、非常に大きなnの限界のままである。我々は、SKIをMコンパクト基底関数の固定セットで自然ベイズ線形回帰問題を解決するものとして置き換えることによって、単一のO(n)時間前処理ステップの後に、SKI毎のイテレーション時間がO(m log m)に削減できることを示した。 固定格子のデータセットサイズnとは無関係に、本手法は真の大規模データセットにスケールする。 我々は, m と n の広い範囲で実際に高速化を実演し, 1億点を超える3次元気象レーダデータセット上でGP推定に適用した。

関連論文リスト

• High-Dimensional Gaussian Process Regression with Soft Kernel Interpolation [0.8057006406834466]
  高次元データセット上でのスケーラブルなプロセス(GP)回帰のために設計されたソフトカーネル補間(SoftKI)を導入する。 構造的補間 (Structured Interpolation, SKI) は, GPカーネルを構造的格子で近似し, より少ない学習点からソフトマックスでカーネルを近似する。 SKI法で使用される格子構造を捨てることにより、SoftKIはデータ次元から近似GPカーネルを形成するコストを分離し、高次元データセットに適している。
  論文  参考訳（メタデータ） (2024-10-28T18:13:56Z)
• Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
  我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。 特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
  論文  参考訳（メタデータ） (2023-11-18T04:41:07Z)
• Large-Scale Gaussian Processes via Alternating Projection [23.79090469387859]
  本稿では,カーネル行列のサブブロックのみにアクセスする反復的手法を提案する。 我々のアルゴリズムは、交互プロジェクションに基づくもので、GPを非常に大きなデータセットにスケールするという現実的な課題の多くを解決し、各イテレーション時間と空間の複雑さを$mathcalO(n)で解決している。
  論文  参考訳（メタデータ） (2023-10-26T04:20:36Z)
• Kernel Interpolation with Sparse Grids [25.167018679176838]
  本稿では,構造化カーネルアメニブル(SKI)フレームワークにおけるスパースグリッドの利用を提案する。 これらの格子は正確な代数を可能にするが、多くの点が次元でよりゆっくりと成長する。 精度を維持しつつ,SKIを高次元に拡張可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-23T18:17:49Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• The Fast Kernel Transform [21.001203328543006]
  本稿では,FKT(Fast Kernel Transform:高速カーネル変換)を提案する。 FKT はガウス、マテルン、ラショナル四次共分散関数や物理的に動機付けられたグリーン関数など、幅広い種類のカーネルに容易に適用できる。 本稿では、時間と精度のベンチマークを提供することによりFKTの有効性と汎用性を説明し、それを近隣埋め込み(t-SNE)とガウス過程を大規模実世界のデータセットに拡張する。
  論文  参考訳（メタデータ） (2021-06-08T16:15:47Z)
• SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data [16.463077353773603]
  SigGPDEは,ガウス過程(GP)を逐次データに基づいて拡張可能な分散変動推論フレームワークである。 GPシグネチャカーネルの勾配は双曲偏微分方程式(PDE)の解であることを示す。 この理論的な洞察により、ELBOを最適化する効率的なバックプロパゲーションアルゴリズムを構築することができる。
  論文  参考訳（メタデータ） (2021-05-10T09:10:17Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Square Root Bundle Adjustment for Large-Scale Reconstruction [56.44094187152862]
  QR分解によるランドマーク変数のnullspace marginalizationに依存するバンドル調整問題の新たな定式化を提案する。 平方根束調整と呼ばれる私たちのアプローチは、一般的に使用されるSchur補完トリックと代数的に等価です。 BALデータセットを用いた実世界での実験では、提案されたソルバが単一の精度でも平均的等しく正確なソリューションで達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-02T16:26:20Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。