論文の概要: DKL-KAN: Scalable Deep Kernel Learning using Kolmogorov-Arnold Networks
- arxiv url: http://arxiv.org/abs/2407.21176v1
- Date: Tue, 30 Jul 2024 20:30:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 19:24:51.149317
- Title: DKL-KAN: Scalable Deep Kernel Learning using Kolmogorov-Arnold Networks
- Title（参考訳）: DKL-KAN:Kolmogorov-Arnoldネットワークを用いたスケーラブルなディープカーネル学習
- Authors: Shrenik Zinage, Sudeepta Mondal, Soumalya Sarkar,
- Abstract要約: 本稿では,DKL-MLPを用いたDKLの代替として,kan(DKL-KAN)を用いたスケーラブルなディープカーネルを提案する。
DKL-MLPと比較して,DKL-KANの2つの変種を分析した。
DKL-KANの有効性は、幅広いアプリケーションにわたる計算訓練時間とテスト予測精度の観点から評価される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The need for scalable and expressive models in machine learning is paramount, particularly in applications requiring both structural depth and flexibility. Traditional deep learning methods, such as multilayer perceptrons (MLP), offer depth but lack ability to integrate structural characteristics of deep learning architectures with non-parametric flexibility of kernel methods. To address this, deep kernel learning (DKL) was introduced, where inputs to a base kernel are transformed using a deep learning architecture. These kernels can replace standard kernels, allowing both expressive power and scalability. The advent of Kolmogorov-Arnold Networks (KAN) has generated considerable attention and discussion among researchers in scientific domain. In this paper, we introduce a scalable deep kernel using KAN (DKL-KAN) as an effective alternative to DKL using MLP (DKL-MLP). Our approach involves simultaneously optimizing these kernel attributes using marginal likelihood within a Gaussian process framework. We analyze two variants of DKL-KAN for a fair comparison with DKL-MLP: one with same number of neurons and layers as DKL-MLP, and another with approximately same number of trainable parameters. To handle large datasets, we use kernel interpolation for scalable structured Gaussian processes (KISS-GP) for low-dimensional inputs and KISS-GP with product kernels for high-dimensional inputs. The efficacy of DKL-KAN is evaluated in terms of computational training time and test prediction accuracy across a wide range of applications. Additionally, the effectiveness of DKL-KAN is also examined in modeling discontinuities and accurately estimating prediction uncertainty. The results indicate that DKL-KAN outperforms DKL-MLP on datasets with a low number of observations. Conversely, DKL-MLP exhibits better scalability and higher test prediction accuracy on datasets with large number of observations.
- Abstract（参考訳）: 機械学習におけるスケーラブルで表現力のあるモデルの必要性は、特に構造的な深さと柔軟性の両方を必要とするアプリケーションにおいて最重要である。
多層パーセプトロン(MLP)のような従来のディープラーニング手法は、深さを提供するが、ディープラーニングアーキテクチャの構造的特性とカーネルメソッドの非パラメトリックな柔軟性を統合する能力は欠如している。
これを解決するために、ディープラーニングアーキテクチャを用いてベースカーネルへの入力を変換するディープカーネル学習(DKL)が導入された。
これらのカーネルは標準的なカーネルを置き換えることができ、表現力と拡張性の両方を可能にする。
Kolmogorov-Arnold Networks (KAN) の出現は、科学分野の研究者の間でかなりの注目と議論をもたらした。
本稿では,MLP(DKL-MLP)を用いたDKLの代替として,kan(DKL-KAN)を用いたスケーラブルなディープカーネルを提案する。
提案手法では,これらのカーネル属性をガウスプロセスフレームワーク内の限界確率を用いて同時に最適化する。
2種類のDKL-KANをDKL-MLPと比較し,DKL-MLPと同数のニューロンと層,およびほぼ同数のトレーニング可能なパラメータを解析した。
大規模データセットの処理には、低次元入力にはスケーラブルな構造化ガウス過程(KISS-GP)、高次元入力には製品カーネルとKISS-GPを用いる。
DKL-KANの有効性は、幅広いアプリケーションにわたる計算訓練時間とテスト予測精度の観点から評価される。
さらに,不連続性をモデル化し,予測の不確実性を正確に推定する上で,DKL-KANの有効性についても検討した。
その結果,DKL-KANは観測回数の少ないデータセットにおいてDKL-MLPよりも優れていた。
逆に、DKL-MLPは、多数の観測結果を持つデータセットに対して、より良いスケーラビリティと高いテスト予測精度を示す。
関連論文リスト
- Kernel-based retrieval models for hyperspectral image data optimized with Kernel Flows [0.0]
カーネルベースの統計手法は効率的であるが、その性能はカーネルパラメータの選択に大きく依存する。
K-PCR(Kernel principal Component Regression)を最適化し,KF-PLSとともにテストするための新しいKF型アプローチを提案する。
両手法は2つのハイパースペクトルリモートセンシングデータセットを用いて非線形回帰手法に対してベンチマークを行う。
論文 参考訳（メタデータ） (2024-11-12T13:54:13Z) - Combining Primal and Dual Representations in Deep Restricted Kernel
Machines Classifiers [17.031744210104556]
KPCAの目的と分類レベルを結合したDRKM分類法を提案する。
分類レベルは LSSVM あるいはプリミティブな特徴マップとして定式化でき、レベルとレイヤの深さを組み合わせられる。
開発したアルゴリズムは,高次元データを用いた畳み込みニューラルネットワーク(CNN)よりも少ないメモリで,小さなデータセットから効果的に学習可能であることを示す。
論文 参考訳（メタデータ） (2023-06-12T10:39:57Z) - Local Sample-weighted Multiple Kernel Clustering with Consensus
Discriminative Graph [73.68184322526338]
マルチカーネルクラスタリング(MKC)は、ベースカーネルの集合から最適な情報融合を実現するためにコミットされる。
本稿では,新しい局所サンプル重み付きマルチカーネルクラスタリングモデルを提案する。
実験により, LSWMKCはより優れた局所多様体表現を有し, 既存のカーネルやグラフベースのクラスタリングアルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2022-07-05T05:00:38Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳（メタデータ） (2021-06-15T14:32:38Z) - Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。
我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。
CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-15T04:44:52Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Graph-Aided Online Multi-Kernel Learning [12.805267089186533]
本稿では, 良好な関数近似を提供する辞書から, データ駆動によるカーネルの選択について検討する。
カーネル間の類似性に基づいて、新しいフレームワークは、カーネルのサブセットの選択を支援するためにグラフを構築し、洗練する。
提案アルゴリズムは、最先端のグラフベースのオンラインMKL代替品と比較して、より厳密なサブ線形後悔を享受する。
論文 参考訳（メタデータ） (2021-02-09T07:43:29Z) - Federated Doubly Stochastic Kernel Learning for Vertically Partitioned
Data [93.76907759950608]
本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。
本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
論文 参考訳（メタデータ） (2020-08-14T05:46:56Z) - Learning to Learn Kernels with Variational Random Features [118.09565227041844]
メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。
変分推論問題としてメタVRFの最適化を定式化する。
MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
論文 参考訳（メタデータ） (2020-06-11T18:05:29Z) - Longitudinal Deep Kernel Gaussian Process Regression [16.618767289437905]
縦型ディープカーネルプロセスレグレッション(L-DKGPR)を導入する。
L-DKGPRは、縦方向のデータから複雑な多レベル相関構造の発見を自動化する。
そこで我々は,L-DKGPRを学習するための効率的なアルゴリズムを,遅延空間誘導点と変分推論を用いて導出した。
論文 参考訳（メタデータ） (2020-05-24T15:10:48Z) - Deep Latent-Variable Kernel Learning [25.356503463916816]
本稿では,潜在変数が正規化表現の符号化を行う完全潜時可変カーネル学習(DLVKL)モデルを提案する。
実験により、DLVKL-NSDEは、小さなデータセット上でよく校正されたGPと同様に動作し、大きなデータセット上で既存のディープGPより優れていることが示された。
論文 参考訳（メタデータ） (2020-05-18T05:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。