論文の概要: Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive Kernels

• arxiv url: http://arxiv.org/abs/2310.05236v1
• Date: Sun, 8 Oct 2023 17:08:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 09:12:24.341588
• Title: Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive Kernels
• Title（参考訳）: 非対称局所適応カーネル学習によるカーネルフレキシビリティ向上
• Authors: Fan He, Mingzhen He, Lei Shi, Xiaolin Huang and Johan A.K. Suykens
• Abstract要約: 本稿では,ラジアル基底関数(RBF)カーネルを強化するための訓練可能なパラメータとして,局所適応バンド幅(LAB)の概念を紹介する。 LAB RBFカーネルのパラメータはデータ依存であり、データセットによってその数は増加する可能性がある。 本稿では,非対称なカーネルリッジ回帰フレームワークを初めて確立し,反復的なカーネル学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 35.76925787221499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The lack of sufficient flexibility is the key bottleneck of kernel-based learning that relies on manually designed, pre-given, and non-trainable kernels. To enhance kernel flexibility, this paper introduces the concept of Locally-Adaptive-Bandwidths (LAB) as trainable parameters to enhance the Radial Basis Function (RBF) kernel, giving rise to the LAB RBF kernel. The parameters in LAB RBF kernels are data-dependent, and its number can increase with the dataset, allowing for better adaptation to diverse data patterns and enhancing the flexibility of the learned function. This newfound flexibility also brings challenges, particularly with regards to asymmetry and the need for an efficient learning algorithm. To address these challenges, this paper for the first time establishes an asymmetric kernel ridge regression framework and introduces an iterative kernel learning algorithm. This novel approach not only reduces the demand for extensive support data but also significantly improves generalization by training bandwidths on the available training data. Experimental results on real datasets underscore the remarkable performance of the proposed algorithm, showcasing its superior capability in handling large-scale datasets compared to Nystr\"om approximation-based algorithms. Moreover, it demonstrates a significant improvement in regression accuracy over existing kernel-based learning methods and even surpasses residual neural networks.
• Abstract（参考訳）: 十分な柔軟性の欠如は、手動で設計され、事前管理され、訓練できないカーネルに依存する、カーネルベースの学習の重要なボトルネックである。 本稿では,ローカル適応バンド幅(LAB)の概念をトレーニング可能なパラメータとして導入し,ラジアル基底関数(RBF)カーネルを強化することにより,LAB RBFカーネルを実現する。 LAB RBFカーネルのパラメータはデータ依存であり、データセットによってその数は増加し、多様なデータパターンへの適応性が向上し、学習された関数の柔軟性が向上する。 この新しい柔軟性はまた、特に非対称性と効率的な学習アルゴリズムの必要性に関して、課題をもたらす。 これらの課題に対処するため,本論文は非対称カーネルリッジ回帰フレームワークを初めて確立し,反復カーネル学習アルゴリズムを導入する。 この斬新なアプローチは、広範なサポートデータの需要を減らすだけでなく、利用可能なトレーニングデータの帯域幅をトレーニングすることで、一般化を大幅に改善する。 実データセットに対する実験結果は,提案アルゴリズムの顕著な性能を裏付けるものであり,Nystr\"om近似に基づくアルゴリズムと比較して,大規模データセットを扱う優れた能力を示している。 さらに、既存のカーネルベースの学習手法よりも回帰精度が大幅に向上し、残余のニューラルネットワークを超えていることも示している。

関連論文リスト

• Kernel Sum of Squares for Data Adapted Kernel Learning of Dynamical Systems from Data: A global optimization approach [0.19999259391104385]
  本稿では,Kernel Sum of Squares (KSOS) 法の適用について検討する。 従来のカーネルベースの手法は、最適なベースカーネルの選択とパラメータチューニングにしばしば苦労する。 KSOSは、カーネルベースのサロゲート関数を持つグローバル最適化フレームワークを活用することで、これらの問題を緩和する。
  論文  参考訳（メタデータ） (2024-08-12T19:32:28Z)
• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
  RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。 提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。 私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
  論文  参考訳（メタデータ） (2022-11-11T18:50:34Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Fast Estimation of Information Theoretic Learning Descriptors using Explicit Inner Product Spaces [4.5497405861975935]
  カーネル法は、信号処理や機械学習における非線形問題を解くため、理論的に座屈し、強力で汎用的な枠組みを形成する。 近年, NTカーネル適応フィルタ (KAF) を提案する。 我々は,内部積空間カーネルを用いたIPLの高速,スケーラブル,高精度な推定器群に着目した。
  論文  参考訳（メタデータ） (2020-01-01T20:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。