論文の概要: Spectral Truncation Kernels: Noncommutativity in $C^*$-algebraic Kernel Machines
- arxiv url: http://arxiv.org/abs/2405.17823v3
- Date: Thu, 03 Oct 2024 02:19:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-05 03:34:36.216020
- Title: Spectral Truncation Kernels: Noncommutativity in $C^*$-algebraic Kernel Machines
- Title(参考訳): スペクトルトランニケーションカーネル:$C^*$-代数カーネルマシンにおける非可換性
- Authors: Yuka Hashimoto, Ayoub Hafid, Masahiro Ikeda, Hachem Kadri,
- Abstract要約: スペクトルトランケーションに基づく正定値カーネルの新しいクラスを提案する。
性能向上につながる要因であることを示す。
また,スペクトルトランケーションカーネルの表現能力を高めるための深層学習の視点も提案する。
- 参考スコア(独自算出の注目度): 12.11705128358537
- License:
- Abstract: $C^*$-algebra-valued kernels could pave the way for the next generation of kernel machines. To further our fundamental understanding of learning with $C^*$-algebraic kernels, we propose a new class of positive definite kernels based on the spectral truncation. We focus on kernels whose inputs and outputs are vectors or functions and generalize typical kernels by introducing the noncommutativity of the products appearing in the kernels. The noncommutativity induces interactions along the data function domain. We show that it is a governing factor leading to performance enhancement: we can balance the representation power and the model complexity. We also propose a deep learning perspective to increase the representation capacity of spectral truncation kernels. The flexibility of the proposed class of kernels allows us to go beyond previous commutative kernels, addressing two of the foremost issues regarding learning in vector-valued RKHSs, namely the choice of the kernel and the computational cost.
- Abstract(参考訳): C^*$-algebra-valued kernels は次世代のカーネルマシンへの道を開くことができる。
C^*$-代数的カーネルを用いた学習の基本的な理解を深めるために、スペクトルトランケーションに基づく正定値カーネルの新しいクラスを提案する。
入力と出力がベクトルあるいは関数であるカーネルに注目し、カーネルに現れる製品の非可換性を導入することで、典型的なカーネルを一般化する。
非可換性はデータ関数領域に沿った相互作用を誘導する。
表現力とモデルの複雑さのバランスをとることができる。
また,スペクトルトランケーションカーネルの表現能力を高めるための深層学習の視点も提案する。
提案するカーネルの柔軟性により,従来の可換カーネルを超越して,ベクトル値RKHSの学習,すなわちカーネルの選択と計算コストの2つの問題に対処することができる。
関連論文リスト
- Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。
実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
論文 参考訳(メタデータ) (2022-06-30T09:24:02Z) - Scalable First-Order Bayesian Optimization via Structured Automatic
Differentiation [4.061135251278187]
広い範囲のカーネルが構造化行列を生じさせ、勾配観測のための正確な$mathcalO(n2d)$Matrix-vector multiplyとヘッセン観測のための$mathcalO(n2d2)$を可能にした。
提案手法は,ほぼすべての標準カーネルに適用され,ニューラルネットワーク,放射基底関数ネットワーク,スペクトル混合カーネルなどの複雑なカーネルに自動的に拡張される。
論文 参考訳(メタデータ) (2022-06-16T17:59:48Z) - Random Gegenbauer Features for Scalable Kernel Methods [11.370390549286757]
我々は、GZK(Generalized Zonal Kernels)と呼ばれる新しい、リッチなカーネル関数のクラスを近似する効率的なランダムな特徴を提案する。
提案したGZKファミリーは、ゲゲンバウアー級数展開における因子を導入することにより、粒子核を一般化する。
提案手法は最近のカーネル近似法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-07T19:30:36Z) - Fast Sketching of Polynomial Kernels of Polynomial Degree [61.83993156683605]
他のカーネルはしばしばテイラー級数展開を通じてカーネルによって近似されるので、カーネルは特に重要である。
スケッチの最近の技術は、カーネルの$q$という難解な程度に実行時間に依存することを減らしている。
我々は、この実行時間を大幅に改善する新しいスケッチを、先頭の注文項で$q$への依存を取り除くことで提供します。
論文 参考訳(メタデータ) (2021-08-21T02:14:55Z) - Taming Nonconvexity in Kernel Feature Selection---Favorable Properties
of the Laplace Kernel [77.73399781313893]
カーネルベースの特徴選択の客観的機能を確立することが課題である。
非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
論文 参考訳(メタデータ) (2021-06-17T11:05:48Z) - Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions,
Nystr\"om Method, and Use of Kernels in Machine Learning: Tutorial and Survey [5.967999555890417]
まず、機能分析と機械学習におけるカーネルの歴史のレビューから始めます。
本稿では,カーネル手法,半確定プログラミングによるカーネル学習,Hilbert-Schmidt独立性基準,最大平均誤差,カーネル平均埋め込み,カーネル次元削減など,機械学習におけるカーネルの利用方法を紹介する。
本論文は, 機械学習, 次元減少, 数学の関数解析, 量子力学の数学物理学など, 様々な科学分野に有用である。
論文 参考訳(メタデータ) (2021-06-15T21:29:12Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳(メタデータ) (2021-06-15T14:32:38Z) - Faster Kernel Matrix Algebra via Density Estimation [46.253698241653254]
正半定核行列 $K の基本特性を $n$ 点に対応する n$ で計算するための高速アルゴリズムについて研究する。
論文 参考訳(メタデータ) (2021-02-16T18:25:47Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳(メタデータ) (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。