論文の概要: RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features
- arxiv url: http://arxiv.org/abs/2211.06410v2
- Date: Fri, 12 Apr 2024 14:51:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 20:25:38.993024
- Title: RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features
- Title（参考訳）: RFFNet:ランダムフーリエ機能による大規模解釈可能なカーネル手法
- Authors: Mateus P. Otto, Rafael Izbicki,
- Abstract要約: RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。
提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。
私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
- 参考スコア（独自算出の注目度）: 3.0079490585515347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kernel methods provide a flexible and theoretically grounded approach to nonlinear and nonparametric learning. While memory and run-time requirements hinder their applicability to large datasets, many low-rank kernel approximations, such as random Fourier features, were recently developed to scale up such kernel methods. However, these scalable approaches are based on approximations of isotropic kernels, which cannot remove the influence of irrelevant features. In this work, we design random Fourier features for a family of automatic relevance determination (ARD) kernels, and introduce RFFNet, a new large-scale kernel method that learns the kernel relevances' on the fly via first-order stochastic optimization. We present an effective initialization scheme for the method's non-convex objective function, evaluate if hard-thresholding RFFNet's learned relevances yield a sensible rule for variable selection, and perform an extensive ablation study of RFFNet's components. Numerical validation on simulated and real-world data shows that our approach has a small memory footprint and run-time, achieves low prediction error, and effectively identifies relevant features, thus leading to more interpretable solutions. We supply users with an efficient, PyTorch-based library, that adheres to the scikit-learn standard API and code for fully reproducing our results.
- Abstract（参考訳）: カーネル法は、非線形および非パラメトリック学習に対する柔軟で理論的に基礎付けられたアプローチを提供する。
メモリと実行時の要求が大規模なデータセットへの適用を妨げている一方で、ランダムなフーリエ機能のような低ランクなカーネル近似の多くは、そのようなカーネルメソッドをスケールアップするために最近開発された。
しかし、これらのスケーラブルなアプローチは等方性カーネルの近似に基づいており、無関係な特徴の影響を排除できない。
本研究では,自動関連性判定(ARD)カーネル群を対象としたランダムなフーリエ機能を設計し,一階確率最適化によるカーネル関連性学習を行う大規模カーネル手法であるRFFNetを導入する。
本稿では,提案手法の非凸目的関数に対する効果的な初期化手法を提案し,頑健なRFFNetの学習関連性が変数選択に有効であるかどうかを評価し,RFFNetの成分の広範囲なアブレーション研究を行う。
シミュレーションおよび実世界のデータに対する数値検証により、我々の手法はメモリフットプリントが小さく、実行時間も小さく、予測誤差が低く、関連する特徴を効果的に識別し、より解釈可能な解をもたらすことが示された。
私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
関連論文リスト
- Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。
合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
論文 参考訳（メタデータ） (2024-07-14T09:32:20Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive
Kernels [35.76925787221499]
本稿では,ラジアル基底関数(RBF)カーネルを強化するための訓練可能なパラメータとして,局所適応バンド幅(LAB)の概念を紹介する。
LAB RBFカーネルのパラメータはデータ依存であり、データセットによってその数は増加する可能性がある。
本稿では,非対称なカーネルリッジ回帰フレームワークを初めて確立し,反復的なカーネル学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-08T17:08:15Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-10T12:35:02Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。
エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。
タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文 参考訳（メタデータ） (2021-07-12T22:09:30Z) - Towards Unbiased Random Features with Lower Variance For Stationary
Indefinite Kernels [26.57122949130266]
本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。
もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
論文 参考訳（メタデータ） (2021-04-13T13:56:50Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Learning Compositional Sparse Gaussian Processes with a Shrinkage Prior [26.52863547394537]
本稿では,カーネル選択のスパーシティをホースシュープリアーで処理することにより,カーネル構成を学習するための新しい確率論的アルゴリズムを提案する。
本モデルは,計算時間を大幅に削減した時系列特性をキャプチャし,実世界のデータセット上での競合回帰性能を有する。
論文 参考訳（メタデータ） (2020-12-21T13:41:15Z) - Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。
本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。
我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
論文 参考訳（メタデータ） (2020-11-12T16:07:18Z) - End-to-end Kernel Learning via Generative Random Fourier Features [31.57596752889935]
ランダムフーリエ機能(RFF)は、スペクトルケースでのカーネル学習に有望な方法を提供する。
本稿では,カーネル学習と線形学習を統一フレームワークに組み込む一段階プロセスについて考察する。
論文 参考訳（メタデータ） (2020-09-10T00:27:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。