論文の概要: The Fast Kernel Transform

• arxiv url: http://arxiv.org/abs/2106.04487v1
• Date: Tue, 8 Jun 2021 16:15:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 20:00:07.020583
• Title: The Fast Kernel Transform
• Title（参考訳）: 高速カーネル変換
• Authors: John Paul Ryan, Sebastian Ament, Carla P. Gomes, Anil Damle
• Abstract要約: 本稿では,FKT(Fast Kernel Transform:高速カーネル変換)を提案する。 FKT はガウス、マテルン、ラショナル四次共分散関数や物理的に動機付けられたグリーン関数など、幅広い種類のカーネルに容易に適用できる。 本稿では、時間と精度のベンチマークを提供することによりFKTの有効性と汎用性を説明し、それを近隣埋め込み(t-SNE)とガウス過程を大規模実世界のデータセットに拡張する。
• 参考スコア（独自算出の注目度）: 21.001203328543006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kernel methods are a highly effective and widely used collection of modern machine learning algorithms. A fundamental limitation of virtually all such methods are computations involving the kernel matrix that naively scale quadratically (e.g., constructing the kernel matrix and matrix-vector multiplication) or cubically (solving linear systems) with the size of the data set $N.$ We propose the Fast Kernel Transform (FKT), a general algorithm to compute matrix-vector multiplications (MVMs) for datasets in moderate dimensions with quasilinear complexity. Typically, analytically grounded fast multiplication methods require specialized development for specific kernels. In contrast, our scheme is based on auto-differentiation and automated symbolic computations that leverage the analytical structure of the underlying kernel. This allows the FKT to be easily applied to a broad class of kernels, including Gaussian, Matern, and Rational Quadratic covariance functions and physically motivated Green's functions, including those of the Laplace and Helmholtz equations. Furthermore, the FKT maintains a high, quantifiable, and controllable level of accuracy -- properties that many acceleration methods lack. We illustrate the efficacy and versatility of the FKT by providing timing and accuracy benchmarks and by applying it to scale the stochastic neighborhood embedding (t-SNE) and Gaussian processes to large real-world data sets.
• Abstract（参考訳）: カーネルメソッドは、現代の機械学習アルゴリズムの非常に効果的で広く使われているコレクションである。 このような方法の事実上の基本的な制限は、二次的にスケールするカーネル行列(例えば、カーネル行列と行列ベクトルの乗算)や、データ集合 n の大きさの立方体(線形系)を含む計算である。$ は、任意の次元のデータセットに対する行列ベクトル乗算(mvms)を計算する一般的なアルゴリズムであるfast kernel transform (fkt)を提案する。 通常、解析的に基底付けられた高速乗算法は特定のカーネルに対して特別な開発を必要とする。 対照的に、本手法は、基盤となるカーネルの分析構造を利用する自動微分と自動記号計算に基づいている。 これにより、FKT はガウス、マテルン、ラショナル二次共分散函数や、ラプラス方程式やヘルムホルツ方程式を含む物理的に動機付けられたグリーン函数を含む幅広い種類の核に容易に適用できる。 さらに、FKTは、多くの加速法に欠けている特性である高い、定量化され、制御可能な精度を維持している。 本稿では,fktの有効性と汎用性を,タイミングと精度のベンチマークを提供し,確率的近傍埋め込み (t-sne) とガウス過程を大規模実世界のデータセットにスケールするために適用する。

関連論文リスト

• Fast Evaluation of Additive Kernels: Feature Arrangement, Fourier Methods, and Kernel Derivatives [0.5735035463793009]
  厳密な誤り解析を伴う非等間隔高速フーリエ変換(NFFT)に基づく手法を提案する。 また,本手法は,カーネルの分化に伴う行列の近似に適していることを示す。 複数のデータセット上で高速な行列ベクトル積を持つ付加的カーネルスキームの性能について述べる。
  論文  参考訳（メタデータ） (2024-04-26T11:50:16Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Higher-order topological kernels via quantum computation [68.8204255655161]
  トポロジカルデータ分析(TDA)は、複雑なデータから意味のある洞察を抽出する強力なツールとして登場した。 本稿では,ベッチ曲線の次数増加に基づくBettiカーネルの量子的定義法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T14:48:52Z)
• BioSequence2Vec: Efficient Embedding Generation For Biological Sequences [1.0896567381206714]
  本稿では,カーネルメソッドの品質を具現化する汎用表現学習手法を提案する。 提案手法は,任意の距離への入力として利用することができる。 我々はSARS-CoV-2系統や遺伝子ファミリー分類などの実世界の様々な分類タスクを行い、予測性能において最先端の埋め込みやカーネル手法よりも優れています。
  論文  参考訳（メタデータ） (2023-04-01T10:58:21Z)
• Reconstructing Kernel-based Machine Learning Force Fields with Super-linear Convergence [0.18416014644193063]
  我々は、プレコンディショナーを構築するためのNystr"om-typeメソッドの幅広いクラスについて考察する。 検討されたすべての方法は、支配的なカーネルスペクトルを近似するために、インジェクション(カーネル)列の代表的なサブセットを特定することを目的としている。
  論文  参考訳（メタデータ） (2022-12-24T13:45:50Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Learning in High-Dimensional Feature Spaces Using ANOVA-Based Fast Matrix-Vector Multiplication [0.0]
  カーネル行列は一般に密度が高く大規模である。特徴空間の次元によっては、合理的な時間における全てのエントリの計算さえも難しい課題となる。 そこで我々は,ANOVAカーネルを用いて低次元の特徴空間に基づいて複数のカーネルを構築し,行列ベクトル積を実現する高速アルゴリズムを提案する。 特徴グループ化アプローチに基づいて,カーネルリッジ回帰と事前条件付き共役勾配解法を選択する学習手法に,高速な行列ベクトル積を組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-11-19T10:29:39Z)
• Robust 1-bit Compressive Sensing with Partial Gaussian Circulant Matrices and Generative Priors [54.936314353063494]
  我々は,ロバストな1ビット圧縮センシングのための相関に基づく最適化アルゴリズムのリカバリ保証を提供する。 我々は,実用的な反復アルゴリズムを用いて,画像データセットの数値実験を行い,結果の相関付けを行う。
  論文  参考訳（メタデータ） (2021-08-08T05:28:06Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Sparse Gaussian Processes via Parametric Families of Compactly-supported Kernels [0.6091702876917279]
  本稿では,コンパクトなサポートを持つカーネル関数のパラメトリック族を導出する手法を提案する。 この種類のカーネルのパラメータは、最大推定値を用いてデータから学習することができる。 これらの近似は、ターゲットGPから直接描画されたデータをモデル化する際に、正確なモデルに対して最小限の誤差を生じさせることを示す。
  論文  参考訳（メタデータ） (2020-06-05T20:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。