論文の概要: Universality and Optimality of Structured Deep Kernel Networks

• arxiv url: http://arxiv.org/abs/2105.07228v1
• Date: Sat, 15 May 2021 14:10:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 14:39:57.040122
• Title: Universality and Optimality of Structured Deep Kernel Networks
• Title（参考訳）: 構造化ディープカーネルネットワークの普遍性と最適性
• Authors: Tizian Wenzel, Gabriele Santin, Bernard Haasdonk
• Abstract要約: カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。 機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。 本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel based methods yield approximation models that are flexible, efficient and powerful. In particular, they utilize fixed feature maps of the data, being often associated to strong analytical results that prove their accuracy. On the other hand, the recent success of machine learning methods has been driven by deep neural networks (NNs). They achieve a significant accuracy on very high-dimensional data, in that they are able to learn also efficient data representations or data-based feature maps. In this paper, we leverage a recent deep kernel representer theorem to connect the two approaches and understand their interplay. In particular, we show that the use of special types of kernels yield models reminiscent of neural networks that are founded in the same theoretical framework of classical kernel methods, while enjoying many computational properties of deep neural networks. Especially the introduced Structured Deep Kernel Networks (SDKNs) can be viewed as neural networks with optimizable activation functions obeying a representer theorem. Analytic properties show their universal approximation properties in different asymptotic regimes of unbounded number of centers, width and depth. Especially in the case of unbounded depth, the constructions is asymptotically better than corresponding constructions for ReLU neural networks, which is made possible by the flexibility of kernel approximation
• Abstract（参考訳）: カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生成する。 特に、彼らはデータの固定された特徴マップを利用し、しばしばその正確さを証明する強力な分析結果と関連付けられている。 一方で、機械学習手法の最近の成功は、ディープニューラルネットワーク(nns)によって推進されている。 非常に高次元のデータに対して、効率的なデータ表現やデータベースの特徴マップを学習できるという、かなりの精度を実現している。 本稿では,この2つのアプローチをつなげ,それらの相互作用を理解するために,近年のディープカーネル表現定理を利用する。 特に、特殊なタイプのカーネルを使用することで、ニューラルネットワークの深いニューラルネットワークの計算特性を享受しながら、古典的なカーネル手法の同じ理論的枠組みで構築されたニューラルネットワークを連想させるモデルが得られることを示す。 特に、導入されたStructured Deep Kernel Networks (SDKNs) は、表現定理に従う最適なアクティベーション関数を持つニューラルネットワークと見なすことができる。 解析的性質は、非有界な中心、幅、深さの異なる漸近的レジームにおけるそれらの普遍的近似特性を示す。 特に非有界深さの場合、この構造はReLUニューラルネットワークの対応する構造よりも漸近的に優れているが、これはカーネル近似の柔軟性によって可能である。

関連論文リスト

• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。 スパース特徴を抽出する能力において,CNNの収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
  深部ニューラルネットワークの不変関数への近似と複雑性について検討する。 様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。 我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-10-27T09:19:19Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
  Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。 合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
  論文  参考訳（メタデータ） (2022-05-15T21:32:44Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Deep Equals Shallow for ReLU Networks in Kernel Regimes [13.909388235627791]
  ReLUアクティベーションでは、深層完全接続ネットワークから派生したカーネルは、浅層2層のカーネルと本質的に同じ近似特性を持つことを示す。 我々の理論結果は、核関数の微分可能性特性を通して、そのような固有値の崩壊を特徴づけることに依存している。
  論文  参考訳（メタデータ） (2020-09-30T02:37:43Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。