論文の概要: Deep Equals Shallow for ReLU Networks in Kernel Regimes

• arxiv url: http://arxiv.org/abs/2009.14397v4
• Date: Thu, 26 Aug 2021 15:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 22:44:32.025463
• Title: Deep Equals Shallow for ReLU Networks in Kernel Regimes
• Title（参考訳）: カーネルレジームにおけるReLUネットワークのDeep Equals Sallow
• Authors: Alberto Bietti, Francis Bach
• Abstract要約: ReLUアクティベーションでは、深層完全接続ネットワークから派生したカーネルは、浅層2層のカーネルと本質的に同じ近似特性を持つことを示す。 我々の理論結果は、核関数の微分可能性特性を通して、そのような固有値の崩壊を特徴づけることに依存している。
• 参考スコア（独自算出の注目度）: 13.909388235627791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep networks are often considered to be more expressive than shallow ones in terms of approximation. Indeed, certain functions can be approximated by deep networks provably more efficiently than by shallow ones, however, no tractable algorithms are known for learning such deep models. Separately, a recent line of work has shown that deep networks trained with gradient descent may behave like (tractable) kernel methods in a certain over-parameterized regime, where the kernel is determined by the architecture and initialization, and this paper focuses on approximation for such kernels. We show that for ReLU activations, the kernels derived from deep fully-connected networks have essentially the same approximation properties as their shallow two-layer counterpart, namely the same eigenvalue decay for the corresponding integral operator. This highlights the limitations of the kernel framework for understanding the benefits of such deep architectures. Our main theoretical result relies on characterizing such eigenvalue decays through differentiability properties of the kernel function, which also easily applies to the study of other kernels defined on the sphere.
• Abstract（参考訳）: 深層ネットワークは近似の点で浅層ネットワークよりも表現力が高いと考えられている。 実際、特定の関数は浅い関数よりもより効率的にディープネットワークによって近似することができるが、そのようなディープモデルを学ぶための扱いやすいアルゴリズムは知られていない。 これとは別に、最近の研究は、カーネルがアーキテクチャと初期化によって決定される特定の過パラメータ化された状態において、勾配降下で訓練されたディープネットワークが(抽出可能な)カーネルメソッドのように振る舞うことを示した。 ReLUアクティベーションに対して、深層完全連結ネットワークから導出されるカーネルは、その浅層2層と本質的に同じ近似特性、すなわち対応する積分作用素の固有値減衰を持つことを示す。 これは、このような深いアーキテクチャの利点を理解するためのカーネルフレームワークの限界を強調します。 我々の理論結果は、核関数の微分可能性特性を通じてそのような固有値崩壊を特徴づけることに依存しており、球面上で定義される他の核の研究にも容易に適用できる。

関連論文リスト

• Approximation by non-symmetric networks for cross-domain learning [0.0]
  非対称カーネルを用いたカーネルネットワークの近似能力について検討する。 我々は、$r$が必ずしも整数ではないとき、ReLU$r$ネットワークにより、ソボレフクラスの関数の均一近似の精度の推定値を得る。
  論文  参考訳（メタデータ） (2023-05-06T01:33:26Z)
• On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains [10.360517127652185]
  一般領域上で定義されたカーネル関数の大きなクラスの固有値減衰率(EDR)を決定するための戦略を提供する。 この種類のカーネル関数は含まれているが、異なる深さと様々なアクティベーション関数を持つニューラルネットワークに付随する神経タンジェントカーネルに限らない。
  論文  参考訳（メタデータ） (2023-05-04T08:54:40Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Universality and Optimality of Structured Deep Kernel Networks [0.0]
  カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。 機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。 本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-05-15T14:10:35Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• On Approximation in Deep Convolutional Networks: a Kernel Perspective [12.284934135116515]
  画像や音声などの高次元データを含むタスクにおける深層畳み込みネットワークの成功について検討する。 多層畳み込み核を検討し、カーネル方式のレンズを通して理論的・実証的に検討する。 入力パッチで動作する表現型カーネルは第1層では重要であるが、より単純なカーネルは高い層で十分性能を保ち得る。
  論文  参考訳（メタデータ） (2021-02-19T17:03:42Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Kernelized Classification in Deep Networks [49.47339560731506]
  本稿では,ディープネットワークのためのカーネル分類層を提案する。 訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。 提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
  論文  参考訳（メタデータ） (2020-12-08T21:43:19Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
  指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。 我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。 これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。