論文の概要: Convolutional Deep Kernel Machines

• arxiv url: http://arxiv.org/abs/2309.09814v1
• Date: Mon, 18 Sep 2023 14:36:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-09-19 13:01:20.189420
• Title: Convolutional Deep Kernel Machines
• Title（参考訳）: 進化型ディープカーネルマシン
• Authors: Edward Milsom, Ben Anson, Laurence Aitchison
• Abstract要約: ディープ・カーネル・マシン (DKM) は、ディープ・NNやディープ・ガウス・プロセスを含む他のディープ・モデルの柔軟性を備えた、最近導入されたカーネル・メソッドである。 畳み込みDKMと効率的なドメイン間誘導点近似法を導入する。 我々は、畳み込みDKM向けに設計された9種類の正規化を含む、多くのモデル変種を開発し、実験的に評価する。
• 参考スコア（独自算出の注目度）: 25.958907308877148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep kernel machines (DKMs) are a recently introduced kernel method with the flexibility of other deep models including deep NNs and deep Gaussian processes. DKMs work purely with kernels, never with features, and are therefore different from other methods ranging from NNs to deep kernel learning and even deep Gaussian processes, which all use features as a fundamental component. Here, we introduce convolutional DKMs, along with an efficient inter-domain inducing point approximation scheme. Further, we develop and experimentally assess a number of model variants, including 9 different types of normalisation designed for the convolutional DKMs, two likelihoods, and two different types of top-layer. The resulting models achieve around 99% test accuracy on MNIST, 92% on CIFAR-10 and 71% on CIFAR-100, despite training in only around 28 GPU hours, 1-2 orders of magnitude faster than full NNGP / NTK / Myrtle kernels, whilst achieving comparable performance.
• Abstract（参考訳）: deep kernel machine(dkms)は、deep nnsやdeep gaussian processといった他の深層モデルの柔軟性を備えた、最近導入されたカーネルメソッドである。 DKMは純粋にカーネルで動作し、機能では動作しないため、NNから深層カーネル学習、さらには基本コンポーネントとして機能を使用する深いガウスプロセスまで、他の方法とは異なる。 ここでは、畳み込みDKMと、効率的なドメイン間誘導点近似スキームを紹介する。 さらに,畳み込みdkms用に設計された9種類の正規化,2種類の可能性,および2種類のトップ層を含む,多数のモデル変種を開発し,実験的に評価した。 結果、MNISTでは99%、CIFAR-10では92%、CIFAR-100では71%、トレーニングは28時間程度で、NNGP/NTK/Myrtleカーネルより1-2桁速い。

関連論文リスト

• Stochastic Kernel Regularisation Improves Generalisation in Deep Kernel Machines [23.09717258810923]
  最近の研究は、CIFAR-10で92.7%の精度で、畳み込み型ディープカーネルマシンを開発した。 我々は,畳み込み型ディープカーネルマシンの一般化を改善するために,いくつかの改良を加えている。 その結果、CIFAR-10で94.5%のテスト精度が得られた。
  論文  参考訳（メタデータ） (2024-10-08T16:15:53Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Kernel Regression with Infinite-Width Neural Networks on Millions of Examples [27.408712993696213]
  我々は,CIFAR-5mデータセットにおいて,数個のニューラルネットワークのスケール法則について検討した。 テスト精度は91.2%(純粋なカーネル法ではSotA)である。
  論文  参考訳（メタデータ） (2023-03-09T17:11:31Z)
• A Simple Algorithm For Scaling Up Kernel Methods [0.0]
  ランダムな特徴量を無限個のランダムな特徴にスケールできる新しいランダムな特徴回帰アルゴリズムを提案する。 CIFAR-10データセット上で,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2023-01-26T20:59:28Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Random Convolution Kernels with Multi-Scale Decomposition for Preterm EEG Inter-burst Detection [0.0]
  ランダム畳み込みカーネルを持つ線形分類器は、設計やドメイン知識を必要としない計算効率の良い方法である。 最近提案されたRandOm Convolutional KErnel Transformsは、時系列データセットの範囲で高い精度を示している。 本稿では,高周波数成分と低周波数成分を併用したマルチスケールバージョンを提案する。
  論文  参考訳（メタデータ） (2021-08-04T13:07:41Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Accurate Tumor Tissue Region Detection with Accelerated Deep Convolutional Neural Networks [12.7414209590152]
  がん診断のための手動の病理診断は、退屈で反復的である。 我々のアプローチであるFLASHは、ディープ畳み込みニューラルネットワーク(DCNN)アーキテクチャに基づいている。 計算コストを削減し、一般的なディープラーニングアプローチよりも2桁の速さで高速である。
  論文  参考訳（メタデータ） (2020-04-18T08:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。