論文の概要: Stable ResNet

• arxiv url: http://arxiv.org/abs/2010.12859v2
• Date: Thu, 18 Mar 2021 17:27:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 12:17:40.815011
• Title: Stable ResNet
• Title（参考訳）: 安定resnet
• Authors: Soufiane Hayou, Eugenio Clerico, Bobby He, George Deligiannidis, Arnaud Doucet, Judith Rousseau
• Abstract要約: Deep ResNetアーキテクチャは多くのタスクで最先端のパフォーマンスを達成した。 最近の結果は、深さが無限に近づくと、ResNetは表現力を失う可能性があることを示している。 我々は、無限深度限界における表現性を確保しつつ勾配を安定化する特性を持つ新しいResNetアーキテクチャであるStable ResNetを導入する。
• 参考スコア（独自算出の注目度）: 27.440714748520087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep ResNet architectures have achieved state of the art performance on many tasks. While they solve the problem of gradient vanishing, they might suffer from gradient exploding as the depth becomes large (Yang et al. 2017). Moreover, recent results have shown that ResNet might lose expressivity as the depth goes to infinity (Yang et al. 2017, Hayou et al. 2019). To resolve these issues, we introduce a new class of ResNet architectures, called Stable ResNet, that have the property of stabilizing the gradient while ensuring expressivity in the infinite depth limit.
• Abstract（参考訳）: Deep ResNetアーキテクチャは多くのタスクで最先端のパフォーマンスを達成した。 勾配が消える問題を解く一方で、深さが大きくなるにつれて勾配が爆発する恐れがある(Yang et al. 2017)。 さらに、最近の結果は、深さが無限に近づくにつれてResNetが表現力を失う可能性があることを示している(Yang et al. 2017 HaYO et al. 2019)。 これらの問題を解決するために、無限深度制限の表現性を確保しつつ勾配を安定化する特性を持つ、Stable ResNetと呼ばれる新しいResNetアーキテクチャを導入した。

関連論文リスト

• GloNets: Globally Connected Neural Networks [0.4194295877935868]
  ディープラーニングアーキテクチャは、ディープ関連のパフォーマンス劣化に悩まされ、ニューラルネットワークの効果的な深さが制限される。 深度関連問題を克服する新しいアーキテクチャであるGloNet(GloNet)を紹介する。 GloNetでは、ネットワークの頭は抽象化のレベルに関わらず、ネットワークのすべての部分から均一に情報を受信する。
  論文  参考訳（メタデータ） (2023-11-27T15:54:20Z)
• Feature Refinement to Improve High Resolution Image Inpainting [1.4824891788575418]
  塗装ネットワークは、トレーニングセットよりも高い解像度でグローバルコヒーレントな構造を生成できないことが多い。 推論におけるマルチスケールの一貫性損失を最小限に抑えることにより,ネットワークの中間的特徴マップを最適化する。 このランタイム最適化は、塗装結果を改善し、高分解能塗装のための新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-06-27T21:59:12Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability [94.4070247697549]
  ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。 この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
  論文  参考訳（メタデータ） (2021-02-26T22:08:19Z)
• Deep Residual Learning in Spiking Neural Networks [36.16846259899793]
  スパイキングニューラルネットワーク(SNN)は勾配に基づくアプローチの最適化の難しさを示す。 ディープラーニングにおけるResNetの大きな成功を考えると、ディープラーニングで深層SNNをトレーニングするのは自然なことでしょう。 本研究では,深部SNNにおける残差学習を実現するために,スパイク要素ワイド(SEW)ResNetを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:22:33Z)
• ResNet or DenseNet? Introducing Dense Shortcuts to ResNet [80.35001540483789]
  本稿では、それらを解析するために高密度和の統一的な視点を示す。 本稿では,ResNetとDenseNetのジレンマに対する解法として,重み付き正規化ショートカットを提案する。 提案したDSNetはResNetよりもはるかに優れた結果を得ることができ、DenseNetと同等の性能を得るが、リソースは少ない。
  論文  参考訳（メタデータ） (2020-10-23T16:00:15Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。