論文の概要: Kernel-Based Smoothness Analysis of Residual Networks

• arxiv url: http://arxiv.org/abs/2009.10008v2
• Date: Sun, 23 May 2021 18:44:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-16 04:24:05.385752
• Title: Kernel-Based Smoothness Analysis of Residual Networks
• Title（参考訳）: 残留ネットワークのカーネルに基づく平滑性解析
• Authors: Tom Tirer, Joan Bruna, Raja Giryes
• Abstract要約: ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
• 参考スコア（独自算出の注目度）: 85.20737467304994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major factor in the success of deep neural networks is the use of sophisticated architectures rather than the classical multilayer perceptron (MLP). Residual networks (ResNets) stand out among these powerful modern architectures. Previous works focused on the optimization advantages of deep ResNets over deep MLPs. In this paper, we show another distinction between the two models, namely, a tendency of ResNets to promote smoother interpolations than MLPs. We analyze this phenomenon via the neural tangent kernel (NTK) approach. First, we compute the NTK for a considered ResNet model and prove its stability during gradient descent training. Then, we show by various evaluation methodologies that for ReLU activations the NTK of ResNet, and its kernel regression results, are smoother than the ones of MLP. The better smoothness observed in our analysis may explain the better generalization ability of ResNets and the practice of moderately attenuating the residual blocks.
• Abstract（参考訳）: ディープニューラルネットワークの成功の大きな要因は、古典的な多層パーセプトロン(MLP)ではなく高度なアーキテクチャを使うことである。 ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 以前の研究は、ディープmlpよりもディープリネットの最適化の利点に焦点を当てていた。 本稿では,この2つのモデル,すなわち,mlpよりもスムースな補間を促進するためのresnetの傾向について述べる。 我々はこの現象をニューラル・タンジェント・カーネル(NTK)アプローチで解析する。 まず、考慮されたresnetモデルのntkを計算し、勾配降下訓練中の安定性を証明する。 そこで,様々な評価手法により,reluはresnetのntkを活性化し,そのカーネル回帰の結果はmlpのそれよりも滑らかであることを示した。 分析の結果,ResNetsのより優れた一般化能力と,残留ブロックを適度に減衰させる手法が説明できた。

関連論文リスト

• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• SymNMF-Net for The Symmetric NMF Problem [62.44067422984995]
  我々は,Symmetric NMF問題に対するSymNMF-Netと呼ばれるニューラルネットワークを提案する。 各ブロックの推測は最適化の単一イテレーションに対応することを示す。 実世界のデータセットに関する実証的な結果は、我々のSymNMF-Netの優位性を示している。
  論文  参考訳（メタデータ） (2022-05-26T08:17:39Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Singular Value Perturbation and Deep Network Optimization [29.204852309828006]
  我々は,行列摂動に関する新たな理論的結果を開発し,アーキテクチャが深層ネットワークの性能に与える影響について光を当てる。 特に,ディープラーニング実践者が長年経験してきたことを説明する。深層アーキテクチャのパラメータは,他よりも容易に最適化できる。 摂動結果の直接的な応用は、ResNetがConvNetよりも簡単に最適化できる理由を解析的に説明します。
  論文  参考訳（メタデータ） (2022-03-07T02:09:39Z)
• m-RevNet: Deep Reversible Neural Networks with Momentum [25.609808975649624]
  本稿では,m-RevNetと呼ばれる可逆ニューラルネットワークを提案する。 ある種の学習シナリオでは、標準的なResNetが失敗しながらm-RevNetが成功することを分析的に実証的に明らかにします。
  論文  参考訳（メタデータ） (2021-08-12T17:14:32Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Interpolation between Residual and Non-Residual Networks [24.690238357686134]
  ダンピング項を追加することで,新しいODEモデルを提案する。 提案モデルでは係数を調整してResNetとCNNの両方を復元可能であることを示す。 複数の画像分類ベンチマーク実験により,提案手法はResNetとResNeXtの精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-06-10T09:36:38Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。