論文の概要: Stochastic Kernel Regularisation Improves Generalisation in Deep Kernel Machines

• arxiv url: http://arxiv.org/abs/2410.06171v1
• Date: Tue, 8 Oct 2024 16:15:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:50:51.531054
• Title: Stochastic Kernel Regularisation Improves Generalisation in Deep Kernel Machines
• Title（参考訳）: 確率的カーネル規則化はディープカーネルマシンの一般化を改善する
• Authors: Edward Milsom, Ben Anson, Laurence Aitchison,
• Abstract要約: 最近の研究は、CIFAR-10で92.7%の精度で、畳み込み型ディープカーネルマシンを開発した。 我々は,畳み込み型ディープカーネルマシンの一般化を改善するために,いくつかの改良を加えている。 その結果、CIFAR-10で94.5%のテスト精度が得られた。
• 参考スコア（独自算出の注目度）: 23.09717258810923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work developed convolutional deep kernel machines, achieving 92.7% test accuracy on CIFAR-10 using a ResNet-inspired architecture, which is SOTA for kernel methods. However, this still lags behind neural networks, which easily achieve over 94% test accuracy with similar architectures. In this work we introduce several modifications to improve the convolutional deep kernel machine's generalisation, including stochastic kernel regularisation, which adds noise to the learned Gram matrices during training. The resulting model achieves 94.5% test accuracy on CIFAR-10. This finding has important theoretical and practical implications, as it demonstrates that the ability to perform well on complex tasks like image classification is not unique to neural networks. Instead, other approaches including deep kernel methods can achieve excellent performance on such tasks, as long as they have the capacity to learn representations from data.
• Abstract（参考訳）: 最近の研究は、CIFAR-10の92.7%のテスト精度をResNetにインスパイアされたアーキテクチャで達成し、カーネルメソッドのSOTAを開発した。 しかし、これは、同様のアーキテクチャで94%以上のテスト精度を容易に達成できるニューラルネットワークに遅れを取っている。 本研究では,学習中のGram行列にノイズを加える確率的カーネル正規化を含む,畳み込み型ディープカーネルマシンの一般化を改善するために,いくつかの修正を導入する。 その結果、CIFAR-10で94.5%のテスト精度が得られた。 この発見は、画像分類のような複雑なタスクでうまく機能できることは、ニューラルネットワークに特有のものではないことを証明している。 代わりに、ディープカーネルメソッドを含む他のアプローチは、データから表現を学ぶ能力がある限り、そのようなタスクで優れたパフォーマンスを達成することができる。

関連論文リスト

• Convolutional Deep Kernel Machines [25.958907308877148]
  最近の研究は、表現学習を維持するためにベイズニューラルネットワークのNNGP(Neural Network Gaussian Process)制限を変更している。 この修正された制限をディープ・ガウス・プロセスに適用すると、ディープ・カーネル・マシン(DKM)と呼ばれる実用的な学習アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2023-09-18T14:36:17Z)
• Kernel Regression with Infinite-Width Neural Networks on Millions of Examples [27.408712993696213]
  我々は,CIFAR-5mデータセットにおいて,数個のニューラルネットワークのスケール法則について検討した。 テスト精度は91.2%(純粋なカーネル法ではSotA)である。
  論文  参考訳（メタデータ） (2023-03-09T17:11:31Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Can we achieve robustness from data alone? [0.7366405857677227]
  敵の訓練とその変種は、ニューラルネットワークを用いた敵の堅牢な分類を実現するための一般的な方法となっている。 そこで我々は,ロバストな分類のためのメタラーニング手法を考案し,その展開前のデータセットを原則的に最適化する。 MNIST と CIFAR-10 の実験により、我々が生成するデータセットはPGD 攻撃に対して非常に高い堅牢性を持つことが示された。
  論文  参考訳（メタデータ） (2022-07-24T12:14:48Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Generative Kernel Continual learning [117.79080100313722]
  本稿では、生成モデルとカーネル間の相乗効果を利用して連続学習を行う、生成カーネル連続学習を紹介する。 生成モデルは、カーネル学習のための代表サンプルを生成することができ、カーネル連続学習におけるメモリ依存を取り除くことができる。 コントリビューションの能力とメリットを示すために,広く利用されている3つの連続学習ベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-12-26T16:02:10Z)
• Kernel Continual Learning [117.79080100313722]
  カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。 エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。 タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
  論文  参考訳（メタデータ） (2021-07-12T22:09:30Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• The Unreasonable Effectiveness of Patches in Deep Convolutional Kernels Methods [0.0]
  本稿では,畳み込みカーネル法の性能向上の鍵となる,データ依存型特徴抽出手法の重要性を示す。 この手法を挑戦的なImageNetデータセットにスケールアップし、そのような単純なアプローチが既存のすべての非学習表現メソッドを超えることを示した。
  論文  参考訳（メタデータ） (2021-01-19T09:30:58Z)
• Every Model Learned by Gradient Descent Is Approximately a Kernel Machine [0.0]
  ディープラーニングの成功は、しばしばデータの新しい表現を自動的に発見する能力に起因している。 しかし, 標準勾配勾配法により学習されたディープネットワークは, 数学的にカーネルマシンとほぼ同等であることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:02:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。