Fugu-MT 論文翻訳(概要): A Simple Algorithm For Scaling Up Kernel Methods

論文の概要: A Simple Algorithm For Scaling Up Kernel Methods

arxiv url: http://arxiv.org/abs/2301.11414v2
Date: Mon, 30 Jan 2023 16:50:57 GMT
ステータス: 処理完了
システム内更新日: 2023-01-31 20:28:36.599630
Title: A Simple Algorithm For Scaling Up Kernel Methods
Title（参考訳）: カーネルメソッドのスケールアップのための簡易アルゴリズム
Authors: Teng Andrea Xu, Bryan Kelly, Semyon Malamud
Abstract要約: ランダムな特徴量を無限個のランダムな特徴にスケールできる新しいランダムな特徴回帰アルゴリズムを提案する。 CIFAR-10データセット上で,本手法の性能について述べる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The recent discovery of the equivalence between infinitely wide neural networks (NNs) in the lazy training regime and Neural Tangent Kernels (NTKs) (Jacot et al., 2018) has revived interest in kernel methods. However, conventional wisdom suggests kernel methods are unsuitable for large samples due to their computational complexity and memory requirements. We introduce a novel random feature regression algorithm that allows us (when necessary) to scale to virtually infinite numbers of random features. We illustrate the performance of our method on the CIFAR-10 dataset.
Abstract（参考訳）: 遅延トレーニング体制における無限広ニューラルネットワーク(NN)とニューラルタンジェントカーネル(NTK)の同値性の発見(Jacot et al., 2018)により、カーネルメソッドへの関心が復活した。しかしながら、カーネルメソッドは計算の複雑さとメモリ要件のために大規模なサンプルには適さない、という従来の知見は示唆している。そこで我々は,無作為な特徴を無作為に無限個までスケールできる,新しいランダムな特徴回帰アルゴリズムを提案する。 CIFAR-10データセット上で,本手法の性能について述べる。

関連論文リスト

Kernel Regression with Infinite-Width Neural Networks on Millions of Examples [27.408712993696213]
我々は,CIFAR-5mデータセットにおいて,数個のニューラルネットワークのスケール法則について検討した。テスト精度は91.2%(純粋なカーネル法ではSotA)である。
論文参考訳（メタデータ） (2023-03-09T17:11:31Z)
RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
論文参考訳（メタデータ） (2022-11-11T18:50:34Z)
Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文参考訳（メタデータ） (2022-10-21T15:56:13Z)
Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文参考訳（メタデータ） (2021-07-12T22:09:30Z)
Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
論文参考訳（メタデータ） (2021-06-15T14:32:38Z)
Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文参考訳（メタデータ） (2021-06-15T04:44:52Z)
Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文参考訳（メタデータ） (2021-04-03T09:08:12Z)
Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-07T14:19:07Z)
Learning Compositional Sparse Gaussian Processes with a Shrinkage Prior [26.52863547394537]
本稿では,カーネル選択のスパーシティをホースシュープリアーで処理することにより,カーネル構成を学習するための新しい確率論的アルゴリズムを提案する。本モデルは,計算時間を大幅に削減した時系列特性をキャプチャし,実世界のデータセット上での競合回帰性能を有する。
論文参考訳（メタデータ） (2020-12-21T13:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。