論文の概要: SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes

• arxiv url: http://arxiv.org/abs/2106.06695v1
• Date: Sat, 12 Jun 2021 06:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:28:04.648324
• Title: SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
• Title（参考訳）: SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
• Authors: Sanyam Kapoor, Marc Finzi, Ke Alexander Wang, Andrew Gordon Wilson
• Abstract要約: 構造化カーネル補間(SKI)フレームワークは、グリッド上で効率的な行列ベクトル乗算(MVM)を行うために使用される。 我々は,SKIと多面体格子を高次元高速二元フィルタで接続する手法を開発した。 密度の大きい矩形格子の代わりにスパースsimplicial gridを用いることで、SKIよりも指数関数的に高速にGP推論を行うことができる。 また,MVMに基づく推論の大幅な高速化を可能にするSimplex-GPの実装も提供する。
• 参考スコア（独自算出の注目度）: 39.821400341226315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art methods for scalable Gaussian processes use iterative algorithms, requiring fast matrix vector multiplies (MVMs) with the covariance kernel. The Structured Kernel Interpolation (SKI) framework accelerates these MVMs by performing efficient MVMs on a grid and interpolating back to the original space. In this work, we develop a connection between SKI and the permutohedral lattice used for high-dimensional fast bilateral filtering. Using a sparse simplicial grid instead of a dense rectangular one, we can perform GP inference exponentially faster in the dimension than SKI. Our approach, Simplex-GP, enables scaling SKI to high dimensions, while maintaining strong predictive performance. We additionally provide a CUDA implementation of Simplex-GP, which enables significant GPU acceleration of MVM based inference.
• Abstract（参考訳）: スケーラブルガウス過程の最先端手法は反復アルゴリズムを使い、共分散カーネルと高速行列ベクトル乗算(MVM)を必要とする。 構造化カーネル補間(SKI)フレームワークは、グリッド上で効率的なMVMを実行し、元の空間に補間することで、これらのMVMを加速する。 本研究では,高次元高速二元フィルタに用いるSKIと直交格子の接続を開発する。 密度の大きい矩形格子の代わりにスパース単純格子を用いることで、SKIよりも指数関数的にGP推論を行うことができる。 当社のアプローチであるsimplex-gpは,強力な予測性能を維持しつつ,スキーの高次元へのスケーリングを可能にします。 また、MVMベースの推論のGPUアクセラレーションを著しく向上するSimplex-GPのCUDA実装も提供する。

関連論文リスト

• High-Dimensional Gaussian Process Regression with Soft Kernel Interpolation [0.8057006406834466]
  高次元データセット上でのスケーラブルなプロセス(GP)回帰のために設計されたソフトカーネル補間(SoftKI)を導入する。 構造的補間 (Structured Interpolation, SKI) は, GPカーネルを構造的格子で近似し, より少ない学習点からソフトマックスでカーネルを近似する。 SKI法で使用される格子構造を捨てることにより、SoftKIはデータ次元から近似GPカーネルを形成するコストを分離し、高次元データセットに適している。
  論文  参考訳（メタデータ） (2024-10-28T18:13:56Z)
• Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching [53.91395791840179]
  我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。 USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2023-12-19T02:27:22Z)
• Accelerating Machine Learning Primitives on Commodity Hardware [0.0]
  本稿では,Deep Neural Networks (DNN) における一般行列乗算 (GEMM) に基づく畳み込みよりも効率的な代替手段として,スライディングウィンドウ畳み込み手法について広範な研究を行う。 この結果から,Sliding Window 計算カーネルは CPU 上でも専用ハードウェアアクセラレータ上でも GEMM ベースの畳み込みよりも優れていることが示唆された。 これにより、特別なハードウェアを必要とせずに、低消費電力および低メモリデバイスにAIが広く採用される可能性がある。
  論文  参考訳（メタデータ） (2023-10-08T16:26:18Z)
• Kernel Interpolation with Sparse Grids [25.167018679176838]
  本稿では,構造化カーネルアメニブル(SKI)フレームワークにおけるスパースグリッドの利用を提案する。 これらの格子は正確な代数を可能にするが、多くの点が次元でよりゆっくりと成長する。 精度を維持しつつ,SKIを高次元に拡張可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-23T18:17:49Z)
• Optimized Sparse Matrix Operations for Reverse Mode Automatic Differentiation [3.72826300260966]
  本稿では,PyTorch のための CSR ベースのスパース行列ラッパーの実装について述べる。 また,結果のスパースカーネルを最適化に応用し,実装や性能測定の容易さを高密度カーネルと比較した。
  論文  参考訳（メタデータ） (2022-12-10T00:46:51Z)
• Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
  ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。 本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。 次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-26T19:56:45Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• The Fast Kernel Transform [21.001203328543006]
  本稿では,FKT(Fast Kernel Transform:高速カーネル変換)を提案する。 FKT はガウス、マテルン、ラショナル四次共分散関数や物理的に動機付けられたグリーン関数など、幅広い種類のカーネルに容易に適用できる。 本稿では、時間と精度のベンチマークを提供することによりFKTの有効性と汎用性を説明し、それを近隣埋め込み(t-SNE)とガウス過程を大規模実世界のデータセットに拡張する。
  論文  参考訳（メタデータ） (2021-06-08T16:15:47Z)
• SimpleMKKM: Simple Multiple Kernel K-means [49.500663154085586]
  単純なマルチカーネルk-means(SimpleMKKM)と呼ばれる,単純で効果的なマルチカーネルクラスタリングアルゴリズムを提案する。 我々の基準は、カーネル係数とクラスタリング分割行列における難解な最小化最大化問題によって与えられる。 クラスタリング一般化誤差の観点から,SimpleMKKMの性能を理論的に解析する。
  論文  参考訳（メタデータ） (2020-05-11T10:06:40Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。