論文の概要: Convolutional Deep Kernel Machines
- arxiv url: http://arxiv.org/abs/2309.09814v2
- Date: Fri, 23 Feb 2024 14:23:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 18:08:19.110432
- Title: Convolutional Deep Kernel Machines
- Title（参考訳）: 進化型ディープカーネルマシン
- Authors: Edward Milsom, Ben Anson, Laurence Aitchison
- Abstract要約: 最近の研究は、表現学習を維持するためにベイズニューラルネットワークのNNGP(Neural Network Gaussian Process)制限を変更している。
この修正された制限をディープ・ガウス・プロセスに適用すると、ディープ・カーネル・マシン(DKM)と呼ばれる実用的な学習アルゴリズムが得られる。
- 参考スコア（独自算出の注目度）: 25.958907308877148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard infinite-width limits of neural networks sacrifice the ability for
intermediate layers to learn representations from data. Recent work (A theory
of representation learning gives a deep generalisation of kernel methods, Yang
et al. 2023) modified the Neural Network Gaussian Process (NNGP) limit of
Bayesian neural networks so that representation learning is retained.
Furthermore, they found that applying this modified limit to a deep Gaussian
process gives a practical learning algorithm which they dubbed the deep kernel
machine (DKM). However, they only considered the simplest possible setting:
regression in small, fully connected networks with e.g. 10 input features.
Here, we introduce convolutional deep kernel machines. This required us to
develop a novel inter-domain inducing point approximation, as well as
introducing and experimentally assessing a number of techniques not previously
seen in DKMs, including analogues to batch normalisation, different
likelihoods, and different types of top-layer. The resulting model trains in
roughly 77 GPU hours, achieving around 99% test accuracy on MNIST, 72% on
CIFAR-100, and 92.7% on CIFAR-10, which is SOTA for kernel methods.
- Abstract（参考訳）: ニューラルネットワークの標準無限幅制限は、中間層がデータから表現を学ぶ能力を犠牲にする。
最近の研究(表現学習の理論は、表現学習が維持されるようにニューラルネットワークガウス過程(NNGP)の限界を変更したカーネル手法の深い一般化を与える。
さらに、この修正された制限を深いガウス過程に適用すると、ディープカーネルマシン(DKM)と呼ばれる実用的な学習アルゴリズムが得られることがわかった。
しかし、最も単純な設定は、例えば10の入力機能を持つ、小さく完全に接続されたネットワークでの回帰である。
ここでは畳み込み型ディープカーネルマシンを紹介する。
これにより、新しいドメイン間誘導点近似を開発し、バッチ正規化の類似、異なる可能性、異なるトップレイヤーの異なるタイプを含む、これまでDKMで見られなかった多くのテクニックを導入、実験的に評価する必要があった。
その結果、約77gpu時間でトレーニングを行い、mnistでは約99%、cifar-100では72%、cifar-10では92.7%、カーネルメソッドではsotaとなった。
関連論文リスト
- Stochastic Kernel Regularisation Improves Generalisation in Deep Kernel Machines [23.09717258810923]
最近の研究は、CIFAR-10で92.7%の精度で、畳み込み型ディープカーネルマシンを開発した。
我々は,畳み込み型ディープカーネルマシンの一般化を改善するために,いくつかの改良を加えている。
その結果、CIFAR-10で94.5%のテスト精度が得られた。
論文 参考訳（メタデータ） (2024-10-08T16:15:53Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳（メタデータ） (2023-07-27T06:59:46Z) - Kernel Regression with Infinite-Width Neural Networks on Millions of
Examples [27.408712993696213]
我々は,CIFAR-5mデータセットにおいて,数個のニューラルネットワークのスケール法則について検討した。
テスト精度は91.2%(純粋なカーネル法ではSotA)である。
論文 参考訳（メタデータ） (2023-03-09T17:11:31Z) - A Simple Algorithm For Scaling Up Kernel Methods [0.0]
ランダムな特徴量を無限個のランダムな特徴にスケールできる新しいランダムな特徴回帰アルゴリズムを提案する。
CIFAR-10データセット上で,本手法の性能について述べる。
論文 参考訳（メタデータ） (2023-01-26T20:59:28Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Random Convolution Kernels with Multi-Scale Decomposition for Preterm
EEG Inter-burst Detection [0.0]
ランダム畳み込みカーネルを持つ線形分類器は、設計やドメイン知識を必要としない計算効率の良い方法である。
最近提案されたRandOm Convolutional KErnel Transformsは、時系列データセットの範囲で高い精度を示している。
本稿では,高周波数成分と低周波数成分を併用したマルチスケールバージョンを提案する。
論文 参考訳（メタデータ） (2021-08-04T13:07:41Z) - Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。
我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。
CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-15T04:44:52Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。
すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。
本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-09-28T03:29:19Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - Accurate Tumor Tissue Region Detection with Accelerated Deep
Convolutional Neural Networks [12.7414209590152]
がん診断のための手動の病理診断は、退屈で反復的である。
我々のアプローチであるFLASHは、ディープ畳み込みニューラルネットワーク(DCNN)アーキテクチャに基づいている。
計算コストを削減し、一般的なディープラーニングアプローチよりも2桁の速さで高速である。
論文 参考訳（メタデータ） (2020-04-18T08:24:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。