論文の概要: Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive
Kernels
- arxiv url: http://arxiv.org/abs/2310.05236v1
- Date: Sun, 8 Oct 2023 17:08:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 09:12:24.341588
- Title: Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive
Kernels
- Title(参考訳): 非対称局所適応カーネル学習によるカーネルフレキシビリティ向上
- Authors: Fan He, Mingzhen He, Lei Shi, Xiaolin Huang and Johan A.K. Suykens
- Abstract要約: 本稿では,ラジアル基底関数(RBF)カーネルを強化するための訓練可能なパラメータとして,局所適応バンド幅(LAB)の概念を紹介する。
LAB RBFカーネルのパラメータはデータ依存であり、データセットによってその数は増加する可能性がある。
本稿では,非対称なカーネルリッジ回帰フレームワークを初めて確立し,反復的なカーネル学習アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 35.76925787221499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The lack of sufficient flexibility is the key bottleneck of kernel-based
learning that relies on manually designed, pre-given, and non-trainable
kernels. To enhance kernel flexibility, this paper introduces the concept of
Locally-Adaptive-Bandwidths (LAB) as trainable parameters to enhance the Radial
Basis Function (RBF) kernel, giving rise to the LAB RBF kernel. The parameters
in LAB RBF kernels are data-dependent, and its number can increase with the
dataset, allowing for better adaptation to diverse data patterns and enhancing
the flexibility of the learned function. This newfound flexibility also brings
challenges, particularly with regards to asymmetry and the need for an
efficient learning algorithm. To address these challenges, this paper for the
first time establishes an asymmetric kernel ridge regression framework and
introduces an iterative kernel learning algorithm. This novel approach not only
reduces the demand for extensive support data but also significantly improves
generalization by training bandwidths on the available training data.
Experimental results on real datasets underscore the remarkable performance of
the proposed algorithm, showcasing its superior capability in handling
large-scale datasets compared to Nystr\"om approximation-based algorithms.
Moreover, it demonstrates a significant improvement in regression accuracy over
existing kernel-based learning methods and even surpasses residual neural
networks.
- Abstract(参考訳): 十分な柔軟性の欠如は、手動で設計され、事前管理され、訓練できないカーネルに依存する、カーネルベースの学習の重要なボトルネックである。
本稿では,ローカル適応バンド幅(LAB)の概念をトレーニング可能なパラメータとして導入し,ラジアル基底関数(RBF)カーネルを強化することにより,LAB RBFカーネルを実現する。
LAB RBFカーネルのパラメータはデータ依存であり、データセットによってその数は増加し、多様なデータパターンへの適応性が向上し、学習された関数の柔軟性が向上する。
この新しい柔軟性はまた、特に非対称性と効率的な学習アルゴリズムの必要性に関して、課題をもたらす。
これらの課題に対処するため,本論文は非対称カーネルリッジ回帰フレームワークを初めて確立し,反復カーネル学習アルゴリズムを導入する。
この斬新なアプローチは、広範なサポートデータの需要を減らすだけでなく、利用可能なトレーニングデータの帯域幅をトレーニングすることで、一般化を大幅に改善する。
実データセットに対する実験結果は,提案アルゴリズムの顕著な性能を裏付けるものであり,Nystr\"om近似に基づくアルゴリズムと比較して,大規模データセットを扱う優れた能力を示している。
さらに、既存のカーネルベースの学習手法よりも回帰精度が大幅に向上し、残余のニューラルネットワークを超えていることも示している。
関連論文リスト
- Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳(メタデータ) (2023-10-28T06:41:47Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Guided Deep Kernel Learning [42.53025115287688]
無限幅ニューラルネットワークを用いて深層カーネルを学習するための新しい手法を提案する。
提案手法は,新しいデータポイントに遭遇した場合に,DKL目標の信頼度に適応するために,NNGPの信頼性の高い不確実性推定を利用する。
論文 参考訳(メタデータ) (2023-02-19T13:37:34Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Dataset Meta-Learning from Kernel Ridge-Regression [18.253682891579402]
Kernel Inducing Points (KIP) はデータセットを1桁から2桁に圧縮することができる。
KIP学習データセットは、遅延学習体制を超えても有限幅ニューラルネットワークのトレーニングに転送可能である。
論文 参考訳(メタデータ) (2020-10-30T18:54:04Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Physics Informed Deep Kernel Learning [24.033468062984458]
物理インフォームドディープカーネル学習(PI-DKL)は、遅延源を持つ微分方程式で表される物理知識を利用する。
効率的かつ効果的な推論のために、潜伏変数を疎外し、崩壊したモデルエビデンスローバウンド(ELBO)を導出する。
論文 参考訳(メタデータ) (2020-06-08T22:43:31Z) - Fast Estimation of Information Theoretic Learning Descriptors using
Explicit Inner Product Spaces [4.5497405861975935]
カーネル法は、信号処理や機械学習における非線形問題を解くため、理論的に座屈し、強力で汎用的な枠組みを形成する。
近年, NTカーネル適応フィルタ (KAF) を提案する。
我々は,内部積空間カーネルを用いたIPLの高速,スケーラブル,高精度な推定器群に着目した。
論文 参考訳(メタデータ) (2020-01-01T20:21:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。