論文の概要: RFFNet: Scalable and interpretable kernel methods via Random Fourier Features

• arxiv url: http://arxiv.org/abs/2211.06410v1
• Date: Fri, 11 Nov 2022 18:50:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 15:37:11.543152
• Title: RFFNet: Scalable and interpretable kernel methods via Random Fourier Features
• Title（参考訳）: RFFNet:ランダムフーリエ機能によるスケーラブルで解釈可能なカーネルメソッド
• Authors: Mateus P. Otto, Rafael Izbicki
• Abstract要約: 本稿では,カーネルマシンパラメータとカーネル関連性に基づく変数選択手法を提案する。 また,非パラメトリックな目的関数を効率よく実現する新しい最適化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.7438590597720784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kernel methods provide a flexible and theoretically grounded approach to nonlinear and nonparametric learning. While memory requirements hinder their applicability to large datasets, many approximate solvers were recently developed for scaling up kernel methods, such as random Fourier features. However, these scalable approaches are based on approximations of isotropic kernels, which are incapable of removing the influence of possibly irrelevant features. In this work, we design random Fourier features for automatic relevance determination kernels, widely used for variable selection, and propose a new method based on joint optimization of the kernel machine parameters and the kernel relevances. Additionally, we present a new optimization algorithm that efficiently tackles the resulting objective function, which is non-convex. Numerical validation on synthetic and real-world data shows that our approach achieves low prediction error and effectively identifies relevant predictors. Our solution is modular and uses the PyTorch framework.
• Abstract（参考訳）: カーネル法は非線形および非パラメトリック学習に対する柔軟で理論的なアプローチを提供する。 メモリ要件は大規模なデータセットに適用できないが、最近、ランダムなフーリエ機能などのカーネルメソッドのスケールアップのために多くの近似解法が開発された。 しかし、これらのスケーラブルなアプローチは、おそらく無関係な特徴の影響を取り除くことができない等方性核の近似に基づいている。 本研究では、変数選択に広く用いられている自動関連性判定カーネルのためのランダムなフーリエ機能を設計し、カーネルマシンパラメータとカーネル関連性の合同最適化に基づく新しい手法を提案する。 さらに, 目的関数(非凸関数)を効率的に取り扱う新しい最適化アルゴリズムを提案する。 合成および実世界のデータに対する数値検証により,予測誤差が低く,関連する予測要因を効果的に特定できることを示す。 我々のソリューションはモジュラーであり、pytorchフレームワークを使用しています。

関連論文リスト

• Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
  本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。 合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:32:20Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive Kernels [35.76925787221499]
  本稿では,ラジアル基底関数(RBF)カーネルを強化するための訓練可能なパラメータとして,局所適応バンド幅(LAB)の概念を紹介する。 LAB RBFカーネルのパラメータはデータ依存であり、データセットによってその数は増加する可能性がある。 本稿では,非対称なカーネルリッジ回帰フレームワークを初めて確立し,反復的なカーネル学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-08T17:08:15Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Kernel Continual Learning [117.79080100313722]
  カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。 エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。 タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
  論文  参考訳（メタデータ） (2021-07-12T22:09:30Z)
• Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels [26.57122949130266]
  本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。 もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
  論文  参考訳（メタデータ） (2021-04-13T13:56:50Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Learning Compositional Sparse Gaussian Processes with a Shrinkage Prior [26.52863547394537]
  本稿では,カーネル選択のスパーシティをホースシュープリアーで処理することにより,カーネル構成を学習するための新しい確率論的アルゴリズムを提案する。 本モデルは,計算時間を大幅に削減した時系列特性をキャプチャし,実世界のデータセット上での競合回帰性能を有する。
  論文  参考訳（メタデータ） (2020-12-21T13:41:15Z)
• Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
  Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。 本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。 我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
  論文  参考訳（メタデータ） (2020-11-12T16:07:18Z)
• End-to-end Kernel Learning via Generative Random Fourier Features [31.57596752889935]
  ランダムフーリエ機能(RFF)は、スペクトルケースでのカーネル学習に有望な方法を提供する。 本稿では,カーネル学習と線形学習を統一フレームワークに組み込む一段階プロセスについて考察する。
  論文  参考訳（メタデータ） (2020-09-10T00:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。