論文の概要: Neural Kernels Without Tangents

• arxiv url: http://arxiv.org/abs/2003.02237v2
• Date: Thu, 5 Mar 2020 18:46:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 12:33:28.605122
• Title: Neural Kernels Without Tangents
• Title（参考訳）: 接点のない神経核
• Authors: Vaishaal Shankar, Alex Fang, Wenshuo Guo, Sara Fridovich-Keil, Ludwig Schmidt, Jonathan Ragan-Kelley, Benjamin Recht
• Abstract要約: 特徴の袋から「合成」カーネルを作成するための代数学について述べる。 これらの操作は, ニューラルタンジェントカーネル (NTK) の構成要素の多くに対応していることを示す。
• 参考スコア（独自算出の注目度）: 34.527798084824575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the connections between neural networks and simple building blocks in kernel space. In particular, using well established feature space tools such as direct sum, averaging, and moment lifting, we present an algebra for creating "compositional" kernels from bags of features. We show that these operations correspond to many of the building blocks of "neural tangent kernels (NTK)". Experimentally, we show that there is a correlation in test error between neural network architectures and the associated kernels. We construct a simple neural network architecture using only 3x3 convolutions, 2x2 average pooling, ReLU, and optimized with SGD and MSE loss that achieves 96% accuracy on CIFAR10, and whose corresponding compositional kernel achieves 90% accuracy. We also use our constructions to investigate the relative performance of neural networks, NTKs, and compositional kernels in the small dataset regime. In particular, we find that compositional kernels outperform NTKs and neural networks outperform both kernel methods.
• Abstract（参考訳）: カーネル空間におけるニューラルネットワークと単純なビルディングブロックの接続について検討する。 特に、直接和、平均化、モーメントリフティングといったよく確立された特徴空間ツールを用いて、特徴の袋から「結合」カーネルを作成するための代数を提示する。 これらの操作は「神経タンジェントカーネル(NTK)」の構成要素の多くに対応していることを示す。 実験の結果,ニューラルネットワークアーキテクチャとカーネル間のテストエラーには相関関係があることが判明した。 CIFAR10では3x3畳み込み、2x2平均プーリング、2x2平均プーリング、ReLUのみを使用して単純なニューラルネットワークアーキテクチャを構築し、96%の精度でSGDとMSE損失を最適化し、対応する合成カーネルが90%の精度を達成する。 また, ニューラルネットワーク, NTK, および合成カーネルの相対的性能を, 小さなデータセット構造で調査するためにも利用した。 特に、構成カーネルはNTKよりも優れ、ニューラルネットワークは両方のカーネルメソッドより優れています。

関連論文リスト

• Faithful and Efficient Explanations for Neural Networks via Neural Tangent Kernel Surrogate Models [7.608408123113268]
  我々は、データ属性の近似的経験的ニューラルネットワークカーネル(eNTK)を解析する。 そこで本研究では,時間とメモリの複雑さを調整可能な,近似eNTKの2つの新しいランダムプロジェクションモデルを提案する。 ニューラルネットワークカーネルをカーネル関数として用いたカーネルマシンは,効率的なサロゲートモデルである。
  論文  参考訳（メタデータ） (2023-05-23T23:51:53Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
  Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。 合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
  論文  参考訳（メタデータ） (2022-05-15T21:32:44Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
  本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。 提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
  論文  参考訳（メタデータ） (2020-06-24T14:54:59Z)
• Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
  2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。 私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
  論文  参考訳（メタデータ） (2020-02-21T03:54:23Z)
• Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
  指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。 我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。 これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。