論文の概要: RFFNet: Scalable and interpretable kernel methods via Random Fourier
Features
- arxiv url: http://arxiv.org/abs/2211.06410v1
- Date: Fri, 11 Nov 2022 18:50:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 15:37:11.543152
- Title: RFFNet: Scalable and interpretable kernel methods via Random Fourier
Features
- Title(参考訳): RFFNet:ランダムフーリエ機能によるスケーラブルで解釈可能なカーネルメソッド
- Authors: Mateus P. Otto, Rafael Izbicki
- Abstract要約: 本稿では,カーネルマシンパラメータとカーネル関連性に基づく変数選択手法を提案する。
また,非パラメトリックな目的関数を効率よく実現する新しい最適化アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 3.7438590597720784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kernel methods provide a flexible and theoretically grounded approach to
nonlinear and nonparametric learning. While memory requirements hinder their
applicability to large datasets, many approximate solvers were recently
developed for scaling up kernel methods, such as random Fourier features.
However, these scalable approaches are based on approximations of isotropic
kernels, which are incapable of removing the influence of possibly irrelevant
features. In this work, we design random Fourier features for automatic
relevance determination kernels, widely used for variable selection, and
propose a new method based on joint optimization of the kernel machine
parameters and the kernel relevances. Additionally, we present a new
optimization algorithm that efficiently tackles the resulting objective
function, which is non-convex. Numerical validation on synthetic and real-world
data shows that our approach achieves low prediction error and effectively
identifies relevant predictors. Our solution is modular and uses the PyTorch
framework.
- Abstract(参考訳): カーネル法は非線形および非パラメトリック学習に対する柔軟で理論的なアプローチを提供する。
メモリ要件は大規模なデータセットに適用できないが、最近、ランダムなフーリエ機能などのカーネルメソッドのスケールアップのために多くの近似解法が開発された。
しかし、これらのスケーラブルなアプローチは、おそらく無関係な特徴の影響を取り除くことができない等方性核の近似に基づいている。
本研究では、変数選択に広く用いられている自動関連性判定カーネルのためのランダムなフーリエ機能を設計し、カーネルマシンパラメータとカーネル関連性の合同最適化に基づく新しい手法を提案する。
さらに, 目的関数(非凸関数)を効率的に取り扱う新しい最適化アルゴリズムを提案する。
合成および実世界のデータに対する数値検証により,予測誤差が低く,関連する予測要因を効果的に特定できることを示す。
我々のソリューションはモジュラーであり、pytorchフレームワークを使用しています。
関連論文リスト
- Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Efficient Convex Algorithms for Universal Kernel Learning [50.877957471649395]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-15T04:57:37Z) - FAVOR#: Sharp Attention Kernel Approximations via New Classes of
Positive Random Features [39.282051468586666]
本稿では,ガウスとソフトマックス・カーネルを近似したパラメータ化,正,非三角形のRFを提案する。
提案手法は, カーネル回帰タスクにおいて, 従来の手法よりも分散低減し, 性能的に優れていることを示す。
また,変換器の自己アテンション近似法であるFAVOR#を提案する。
論文 参考訳(メタデータ) (2023-02-01T22:43:29Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳(メタデータ) (2022-10-10T12:35:02Z) - Improved Random Features for Dot Product Kernels [15.139805638991122]
我々はドット製品カーネルのランダムな特徴近似の効率を改善するために、いくつかの新しい貢献をしている。
複雑な特徴の利用はこれらの近似のばらつきを著しく減少させることができることを実証的に示す。
また,一般のドット製品カーネルに対するランダムな特徴近似に対するデータ駆動最適化手法を開発した。
論文 参考訳(メタデータ) (2022-01-21T14:16:56Z) - Taming Nonconvexity in Kernel Feature Selection---Favorable Properties
of the Laplace Kernel [77.73399781313893]
カーネルベースの特徴選択の客観的機能を確立することが課題である。
非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
論文 参考訳(メタデータ) (2021-06-17T11:05:48Z) - Towards Unbiased Random Features with Lower Variance For Stationary
Indefinite Kernels [26.57122949130266]
本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。
もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
論文 参考訳(メタデータ) (2021-04-13T13:56:50Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Advanced Stationary and Non-Stationary Kernel Designs for Domain-Aware
Gaussian Processes [0.0]
再生カーネルヒルベルト空間(RKHS)の要素である所望の特性を持つ関数のみを許容する先進カーネル設計を提案する。
いくつかの合成および2つの科学的データセットを用いて、先進的なカーネル設計がガウス過程に与える影響を示す。
論文 参考訳(メタデータ) (2021-02-05T22:07:56Z) - Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。
本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。
我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
論文 参考訳(メタデータ) (2020-11-12T16:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。