論文の概要: Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective

• arxiv url: http://arxiv.org/abs/2002.06262v2
• Date: Tue, 22 Dec 2020 08:47:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 04:13:54.803640
• Title: Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
• Title（参考訳）: なぜディープフィードフォワードネットワークがディープフィードフォワードネットワークよりも一般化するのか? --ニューラルタンジェントカーネルの視点から
• Authors: Kaixuan Huang, Yuqing Wang, Molei Tao, Tuo Zhao
• Abstract要約: ディープ・残差ネットワーク(ResNets)は、ディープ・フィードフォワードネットワーク(FFNets)よりも優れた一般化性能を示した。 本稿では,ニューラル・タンジェント・カーネル(neural tangent kernel)の観点から,深層学習におけるこの根本的な問題を考察する。
• 参考スコア（独自算出の注目度）: 42.475998106561455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep residual networks (ResNets) have demonstrated better generalization performance than deep feedforward networks (FFNets). However, the theory behind such a phenomenon is still largely unknown. This paper studies this fundamental problem in deep learning from a so-called "neural tangent kernel" perspective. Specifically, we first show that under proper conditions, as the width goes to infinity, training deep ResNets can be viewed as learning reproducing kernel functions with some kernel function. We then compare the kernel of deep ResNets with that of deep FFNets and discover that the class of functions induced by the kernel of FFNets is asymptotically not learnable, as the depth goes to infinity. In contrast, the class of functions induced by the kernel of ResNets does not exhibit such degeneracy. Our discovery partially justifies the advantages of deep ResNets over deep FFNets in generalization abilities. Numerical results are provided to support our claim.
• Abstract（参考訳）: ディープ残差ネットワーク(resnets)は、ディープフィードフォワードネットワーク(ffnets)よりも優れた一般化性能を示している。 しかし、そのような現象の背後にある理論はほとんど不明である。 本稿では、いわゆる「神経接核」の観点から、深層学習におけるこの根本的な問題について考察する。 具体的には、幅が無限大になるにつれて、適切な条件下での深層ResNetのトレーニングは、カーネル関数をカーネル関数で再現する学習とみなすことができる。 次に、Deep ResNetsのカーネルとDeep FFNetsのカーネルを比較し、FFNetsのカーネルによって誘導される関数のクラスが漸近的に学習できないことを発見した。 対照的に、ResNetsのカーネルによって誘導される関数のクラスはそのような縮退を示さない。 我々の発見は、一般化能力における深いffnetsよりも深いresnetsの利点を部分的に正当化している。 私たちの主張を支持する数値的な結果が得られます。

関連論文リスト

• Infinite Width Limits of Self Supervised Neural Networks [6.178817969919849]
  NTKと自己教師型学習のギャップを埋め、Barlow Twinsの損失下で訓練された2層ニューラルネットワークに焦点を当てる。 ネットワークの幅が無限大に近づくと、バーロウ・ツインズのNTKは確かに一定となる。
  論文  参考訳（メタデータ） (2024-11-17T21:13:57Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Convergence Analysis of Deep Residual Networks [3.274290296343038]
  ディープ・Residual Networks (ResNets) は、コンピュータビジョンにおいて非常に有用であることを示すため、特に重要である。 本研究では,ディープResNetの収束度を,ネットワークのパラメータの観点から無限大の傾向にあるとして特徴付けることを目的とする。
  論文  参考訳（メタデータ） (2022-05-13T11:53:09Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Non-deep Networks [122.77755088736865]
  我々は、高性能な「非深度」ニューラルネットワークを構築することができることを示す。 並列サブストラクチャを利用することで、深さが12のネットワークが80%以上のトップ1の精度を達成できることを示す。 我々は、低遅延認識システムを構築するために、非ディープネットワークをどのように使用できるかという概念の証明を提供する。
  論文  参考訳（メタデータ） (2021-10-14T18:03:56Z)
• Kernelized Classification in Deep Networks [49.47339560731506]
  本稿では,ディープネットワークのためのカーネル分類層を提案する。 訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。 提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
  論文  参考訳（メタデータ） (2020-12-08T21:43:19Z)
• Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
  ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。 我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。 我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
  論文  参考訳（メタデータ） (2020-07-07T07:45:34Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。