論文の概要: Random Gegenbauer Features for Scalable Kernel Methods
- arxiv url: http://arxiv.org/abs/2202.03474v1
- Date: Mon, 7 Feb 2022 19:30:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 15:26:29.538808
- Title: Random Gegenbauer Features for Scalable Kernel Methods
- Title(参考訳): スケーラブルなカーネルメソッドのためのランダムgegenbauer機能
- Authors: Insu Han, Amir Zandieh, Haim Avron
- Abstract要約: 我々は、GZK(Generalized Zonal Kernels)と呼ばれる新しい、リッチなカーネル関数のクラスを近似する効率的なランダムな特徴を提案する。
提案したGZKファミリーは、ゲゲンバウアー級数展開における因子を導入することにより、粒子核を一般化する。
提案手法は最近のカーネル近似法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 11.370390549286757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose efficient random features for approximating a new and rich class
of kernel functions that we refer to as Generalized Zonal Kernels (GZK). Our
proposed GZK family, generalizes the zonal kernels (i.e., dot-product kernels
on the unit sphere) by introducing radial factors in their Gegenbauer series
expansion, and includes a wide range of ubiquitous kernel functions such as the
entirety of dot-product kernels as well as the Gaussian and the recently
introduced Neural Tangent kernels. Interestingly, by exploiting the reproducing
property of the Gegenbauer polynomials, we can construct efficient random
features for the GZK family based on randomly oriented Gegenbauer kernels. We
prove subspace embedding guarantees for our Gegenbauer features which ensures
that our features can be used for approximately solving learning problems such
as kernel k-means clustering, kernel ridge regression, etc. Empirical results
show that our proposed features outperform recent kernel approximation methods.
- Abstract(参考訳): 本稿では,GZK(Generalized Zonal Kernels)と呼ばれるカーネル関数の新しいクラスを近似するための効率的なランダムな特徴を提案する。
提案したGZKファミリーは、ゲゲンバウアー級数展開に半径因子を導入して、粒子核(すなわち、単位球上のドット積核)を一般化し、ガウス環や最近導入されたニューラル・タンジェント核と同様に、ドット積核全体を含む幅広いユビキタスカーネル関数を含む。
興味深いことに、gegenbauer多項式の再現性を利用して、ランダムに向き付けられたgegenbauerカーネルに基づいて、gzkファミリーの効率的なランダム特徴を構築することができる。
我々は、カーネルk平均クラスタリングやカーネルリッジ回帰といった学習問題を概ね解決するために、我々の機能を使用できる、Gegenbauer機能に対するサブスペース埋め込み保証を証明する。
実験の結果,提案手法は近年のカーネル近似手法よりも優れていることがわかった。
関連論文リスト
- Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。
合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
論文 参考訳(メタデータ) (2024-07-14T09:32:20Z) - On the Approximation of Kernel functions [0.0]
論文はカーネル自体の近似に対処する。
単位立方体上のヒルベルト・ガウス核に対して、この論文は関連する固有関数の上界を確立する。
この改良により、Nystr"om法のような低階近似法が確かめられる。
論文 参考訳(メタデータ) (2024-03-11T13:50:07Z) - Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。
穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。
また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
論文 参考訳(メタデータ) (2022-02-01T17:46:51Z) - Improved Random Features for Dot Product Kernels [12.321353062415701]
我々はドット製品カーネルのランダムな特徴近似の効率を改善するために、いくつかの新しい貢献をしている。
複雑な特徴の利用はこれらの近似のばらつきを著しく減少させることができることを実証的に示す。
一般のドット製品カーネルのランダムな特徴近似を改善するために,データ駆動型最適化手法を開発した。
論文 参考訳(メタデータ) (2022-01-21T14:16:56Z) - Hybrid Random Features [60.116392415715275]
ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。
HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
論文 参考訳(メタデータ) (2021-10-08T20:22:59Z) - Hida-Mat\'ern Kernel [8.594140167290098]
定常ガウス・マルコフ過程の全空間上の共分散関数の正準族であるヒルダ・マタン核のクラスを示す。
カーネルとそのデリバティブのみを用いて状態空間モデルのようなプロセスを表現する方法を示す。
また,状態空間表現の特殊特性を活用することで,計算複雑性のさらなる低減に加えて,数値安定性の向上がもたらされることを示す。
論文 参考訳(メタデータ) (2021-07-15T03:25:10Z) - Taming Nonconvexity in Kernel Feature Selection---Favorable Properties
of the Laplace Kernel [77.73399781313893]
カーネルベースの特徴選択の客観的機能を確立することが課題である。
非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
論文 参考訳(メタデータ) (2021-06-17T11:05:48Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳(メタデータ) (2021-06-15T14:32:38Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Advanced Stationary and Non-Stationary Kernel Designs for Domain-Aware
Gaussian Processes [0.0]
再生カーネルヒルベルト空間(RKHS)の要素である所望の特性を持つ関数のみを許容する先進カーネル設計を提案する。
いくつかの合成および2つの科学的データセットを用いて、先進的なカーネル設計がガウス過程に与える影響を示す。
論文 参考訳(メタデータ) (2021-02-05T22:07:56Z) - Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。
重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
論文 参考訳(メタデータ) (2020-03-21T21:41:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。