論文の概要: Kernel Interpolation with Sparse Grids
- arxiv url: http://arxiv.org/abs/2305.14451v1
- Date: Tue, 23 May 2023 18:17:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 00:05:06.459762
- Title: Kernel Interpolation with Sparse Grids
- Title(参考訳): スパースグリッドを用いたカーネル補間
- Authors: Mohit Yadav, Daniel Sheldon, Cameron Musco
- Abstract要約: 本稿では,構造化カーネルアメニブル(SKI)フレームワークにおけるスパースグリッドの利用を提案する。
これらの格子は正確な代数を可能にするが、多くの点が次元でよりゆっくりと成長する。
精度を維持しつつ,SKIを高次元に拡張可能であることを示す。
- 参考スコア(独自算出の注目度): 25.167018679176838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structured kernel interpolation (SKI) accelerates Gaussian process (GP)
inference by interpolating the kernel covariance function using a dense grid of
inducing points, whose corresponding kernel matrix is highly structured and
thus amenable to fast linear algebra. Unfortunately, SKI scales poorly in the
dimension of the input points, since the dense grid size grows exponentially
with the dimension. To mitigate this issue, we propose the use of sparse grids
within the SKI framework. These grids enable accurate interpolation, but with a
number of points growing more slowly with dimension. We contribute a novel
nearly linear time matrix-vector multiplication algorithm for the sparse grid
kernel matrix. Next, we describe how sparse grids can be combined with an
efficient interpolation scheme based on simplices. With these changes, we
demonstrate that SKI can be scaled to higher dimensions while maintaining
accuracy.
- Abstract(参考訳): 構造化カーネル補間 (Structured kernel interpolation, SKI) はガウス過程 (GP) の推論を、対応するカーネル行列が高度に構造化され、高速線型代数に導出可能な高密度な点の格子を用いて補間することによって加速する。
残念なことに、SKIは、密度の強いグリッドサイズが次元とともに指数関数的に大きくなるため、入力点の次元が小さくなる。
この問題を軽減するため,SKIフレームワーク内のスパースグリッドの利用を提案する。
これらの格子は正確な補間を可能にするが、多くの点が次元でよりゆっくりと成長する。
スパースグリッドカーネル行列に対する線形時間行列ベクトル乗算アルゴリズムを新たに提案する。
次に,スパースグリッドを単純化に基づく効率的な補間手法と組み合わせる方法について述べる。
これらの変化により,SKIは精度を保ちながら高次元まで拡張可能であることを示す。
関連論文リスト
- Optimized Sparse Matrix Operations for Reverse Mode Automatic
Differentiation [3.72826300260966]
本稿では,PyTorch のための CSR ベースのスパース行列ラッパーの実装について述べる。
また,結果のスパースカーネルを最適化に応用し,実装や性能測定の容易さを高密度カーネルと比較した。
論文 参考訳(メタデータ) (2022-12-10T00:46:51Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳(メタデータ) (2022-02-25T16:35:26Z) - Learning in High-Dimensional Feature Spaces Using ANOVA-Based Fast
Matrix-Vector Multiplication [0.0]
カーネル行列は一般に密度が高く大規模である。特徴空間の次元によっては、合理的な時間における全てのエントリの計算さえも難しい課題となる。
そこで我々は,ANOVAカーネルを用いて低次元の特徴空間に基づいて複数のカーネルを構築し,行列ベクトル積を実現する高速アルゴリズムを提案する。
特徴グループ化アプローチに基づいて,カーネルリッジ回帰と事前条件付き共役勾配解法を選択する学習手法に,高速な行列ベクトル積を組み込む方法を示す。
論文 参考訳(メタデータ) (2021-11-19T10:29:39Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-09-30T19:17:35Z) - SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice
for Scalable Gaussian Processes [39.821400341226315]
構造化カーネル補間(SKI)フレームワークは、グリッド上で効率的な行列ベクトル乗算(MVM)を行うために使用される。
我々は,SKIと多面体格子を高次元高速二元フィルタで接続する手法を開発した。
密度の大きい矩形格子の代わりにスパースsimplicial gridを用いることで、SKIよりも指数関数的に高速にGP推論を行うことができる。
また,MVMに基づく推論の大幅な高速化を可能にするSimplex-GPの実装も提供する。
論文 参考訳(メタデータ) (2021-06-12T06:04:56Z) - The Fast Kernel Transform [21.001203328543006]
本稿では,FKT(Fast Kernel Transform:高速カーネル変換)を提案する。
FKT はガウス、マテルン、ラショナル四次共分散関数や物理的に動機付けられたグリーン関数など、幅広い種類のカーネルに容易に適用できる。
本稿では、時間と精度のベンチマークを提供することによりFKTの有効性と汎用性を説明し、それを近隣埋め込み(t-SNE)とガウス過程を大規模実世界のデータセットに拡張する。
論文 参考訳(メタデータ) (2021-06-08T16:15:47Z) - VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。
textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文 参考訳(メタデータ) (2021-05-04T04:10:48Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Square Root Bundle Adjustment for Large-Scale Reconstruction [56.44094187152862]
QR分解によるランドマーク変数のnullspace marginalizationに依存するバンドル調整問題の新たな定式化を提案する。
平方根束調整と呼ばれる私たちのアプローチは、一般的に使用されるSchur補完トリックと代数的に等価です。
BALデータセットを用いた実世界での実験では、提案されたソルバが単一の精度でも平均的等しく正確なソリューションで達成できることを示す。
論文 参考訳(メタデータ) (2021-03-02T16:26:20Z) - Faster Kernel Interpolation for Gaussian Processes [30.04235162264955]
大規模データセットへのプロセス(GP)回帰のスケーリングにおける重要な課題は、正確な推論がnxnのカーネル行列を必要とすることである。
構造化カーネル(SKI)は最もスケーラブルな方法の一つである。
1つのO(n)時間前計算ステップの後、SKIをO(m log m)に還元できることが示される。
我々は, m と n の広い範囲で実際に高速化を実演し, 1億点を超える3次元気象レーダデータセット上でGP推定に適用した。
論文 参考訳(メタデータ) (2021-01-28T00:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。