論文の概要: Convolutional Deep Kernel Machines
- arxiv url: http://arxiv.org/abs/2309.09814v1
- Date: Mon, 18 Sep 2023 14:36:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 13:01:20.189420
- Title: Convolutional Deep Kernel Machines
- Title（参考訳）: 進化型ディープカーネルマシン
- Authors: Edward Milsom, Ben Anson, Laurence Aitchison
- Abstract要約: ディープ・カーネル・マシン (DKM) は、ディープ・NNやディープ・ガウス・プロセスを含む他のディープ・モデルの柔軟性を備えた、最近導入されたカーネル・メソッドである。
畳み込みDKMと効率的なドメイン間誘導点近似法を導入する。
我々は、畳み込みDKM向けに設計された9種類の正規化を含む、多くのモデル変種を開発し、実験的に評価する。
- 参考スコア（独自算出の注目度）: 25.958907308877148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep kernel machines (DKMs) are a recently introduced kernel method with the
flexibility of other deep models including deep NNs and deep Gaussian
processes. DKMs work purely with kernels, never with features, and are
therefore different from other methods ranging from NNs to deep kernel learning
and even deep Gaussian processes, which all use features as a fundamental
component. Here, we introduce convolutional DKMs, along with an efficient
inter-domain inducing point approximation scheme. Further, we develop and
experimentally assess a number of model variants, including 9 different types
of normalisation designed for the convolutional DKMs, two likelihoods, and two
different types of top-layer. The resulting models achieve around 99% test
accuracy on MNIST, 92% on CIFAR-10 and 71% on CIFAR-100, despite training in
only around 28 GPU hours, 1-2 orders of magnitude faster than full NNGP / NTK /
Myrtle kernels, whilst achieving comparable performance.
- Abstract（参考訳）: deep kernel machine(dkms)は、deep nnsやdeep gaussian processといった他の深層モデルの柔軟性を備えた、最近導入されたカーネルメソッドである。
DKMは純粋にカーネルで動作し、機能では動作しないため、NNから深層カーネル学習、さらには基本コンポーネントとして機能を使用する深いガウスプロセスまで、他の方法とは異なる。
ここでは、畳み込みDKMと、効率的なドメイン間誘導点近似スキームを紹介する。
さらに,畳み込みdkms用に設計された9種類の正規化,2種類の可能性,および2種類のトップ層を含む,多数のモデル変種を開発し,実験的に評価した。
結果、MNISTでは99%、CIFAR-10では92%、CIFAR-100では71%、トレーニングは28時間程度で、NNGP/NTK/Myrtleカーネルより1-2桁速い。
関連論文リスト
- Scalable Optimal Margin Distribution Machine [50.281535710689795]
ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。
本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
論文 参考訳（メタデータ） (2023-05-08T16:34:04Z) - A Simple Algorithm For Scaling Up Kernel Methods [0.0]
ランダムな特徴量を無限個のランダムな特徴にスケールできる新しいランダムな特徴回帰アルゴリズムを提案する。
CIFAR-10データセット上で,本手法の性能について述べる。
論文 参考訳（メタデータ） (2023-01-26T20:59:28Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Random Convolution Kernels with Multi-Scale Decomposition for Preterm
EEG Inter-burst Detection [0.0]
ランダム畳み込みカーネルを持つ線形分類器は、設計やドメイン知識を必要としない計算効率の良い方法である。
最近提案されたRandOm Convolutional KErnel Transformsは、時系列データセットの範囲で高い精度を示している。
本稿では,高周波数成分と低周波数成分を併用したマルチスケールバージョンを提案する。
論文 参考訳（メタデータ） (2021-08-04T13:07:41Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳（メタデータ） (2021-06-15T14:32:38Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Neural Generalization of Multiple Kernel Learning [2.064612766965483]
マルチカーネル学習は、カーネルベースの手法でカーネル関数を学習する従来の方法である。
ディープラーニングモデルは、複数の層を通してデータに非線形変換を適用することで、複雑な関数を学習することができる。
典型的なMKLアルゴリズムは線形活性化関数を持つ一層ニューラルネットワークとして解釈可能であることを示す。
論文 参考訳（メタデータ） (2021-02-26T07:28:37Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - Neural Kernels Without Tangents [34.527798084824575]
特徴の袋から「合成」カーネルを作成するための代数学について述べる。
これらの操作は, ニューラルタンジェントカーネル (NTK) の構成要素の多くに対応していることを示す。
論文 参考訳（メタデータ） (2020-03-04T18:25:41Z) - SYMOG: learning symmetric mixture of Gaussian modes for improved
fixed-point quantization [25.328005340524825]
ディープニューラルネットワーク(DNN)は、いくつかの機械学習ベンチマークで古典的な手法より優れていることが証明されている。
低ビット固定点量子化によるDNNの複雑性を著しく低減するSYMOGを提案する。
我々は,CIFAR-10では5.71%,CIFAR-100では27.65%の誤差率で,優れた結果と2ビットの最先端性能を達成した。
論文 参考訳（メタデータ） (2020-02-19T14:17:32Z) - PolyScientist: Automatic Loop Transformations Combined with Microkernels
for Optimization of Deep Learning Primitives [55.79741270235602]
深層学習カーネル開発のためのハイブリッドソリューションを開発する。
我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
論文 参考訳（メタデータ） (2020-02-06T08:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。