論文の概要: ResNet: Enabling Deep Convolutional Neural Networks through Residual Learning
- arxiv url: http://arxiv.org/abs/2510.24036v1
- Date: Tue, 28 Oct 2025 03:36:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:36.74119
- Title: ResNet: Enabling Deep Convolutional Neural Networks through Residual Learning
- Title(参考訳): ResNet: 残差学習による深層畳み込みニューラルネットワークの実現
- Authors: Xingyu Liu, Kun Ming Goh,
- Abstract要約: ResNetは、数百のレイヤによるネットワークのトレーニングを可能にする。
CIFAR-10データセットの実装では、ResNet-18は89.9%の精度を達成している。
- 参考スコア(独自算出の注目度): 4.949171031381768
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional Neural Networks (CNNs) has revolutionized computer vision, but training very deep networks has been challenging due to the vanishing gradient problem. This paper explores Residual Networks (ResNet), introduced by He et al. (2015), which overcomes this limitation by using skip connections. ResNet enables the training of networks with hundreds of layers by allowing gradients to flow directly through shortcut connections that bypass intermediate layers. In our implementation on the CIFAR-10 dataset, ResNet-18 achieves 89.9% accuracy compared to 84.1% for a traditional deep CNN of similar depth, while also converging faster and training more stably.
- Abstract(参考訳): 畳み込みニューラルネットワーク(CNN)はコンピュータビジョンに革命をもたらしたが、勾配問題によって非常に深いネットワークのトレーニングが困難になっている。
本稿では,He et al (2015) が導入したResidual Networks (ResNet) について述べる。
ResNetは、中間層をバイパスするショートカット接続を通じて、勾配を直接流すことで、数百のレイヤによるネットワークのトレーニングを可能にする。
CIFAR-10データセットの実装では、ResNet-18が89.9%の精度を達成した。
関連論文リスト
- Hierarchical Training of Deep Neural Networks Using Early Exiting [42.186536611404165]
深層ニューラルネットワークは、ビジョンタスクに最先端の精度を提供するが、トレーニングにはかなりのリソースを必要とする。
ディープニューラルネットワークは、データを取得するエッジデバイスから遠く離れたクラウドサーバでトレーニングされる。
本研究では,エッジワーカとクラウドワーカの分割アーキテクチャにおける早期出口を用いた,深層ニューラルネットワークの階層的学習手法を提案する。
論文 参考訳(メタデータ) (2023-03-04T11:30:16Z) - An Exact Mapping From ReLU Networks to Spiking Neural Networks [3.1701886344065255]
本稿では,Rectified Linear Units (ReLUs) を用いたネットワークから,ニューロン毎のスパイクを正確に1回発射するSNNへの正確なマッピングを提案する。
より一般的には、任意の深部ReLUネットワークが、パフォーマンスを失うことなく、エネルギー効率のよい単一スパイクニューラルネットワークに置き換えられることを示す。
論文 参考訳(メタデータ) (2022-12-23T18:31:09Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳(メタデータ) (2022-10-10T10:05:00Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳(メタデータ) (2022-03-15T17:49:08Z) - Non-deep Networks [122.77755088736865]
我々は、高性能な「非深度」ニューラルネットワークを構築することができることを示す。
並列サブストラクチャを利用することで、深さが12のネットワークが80%以上のトップ1の精度を達成できることを示す。
我々は、低遅延認識システムを構築するために、非ディープネットワークをどのように使用できるかという概念の証明を提供する。
論文 参考訳(メタデータ) (2021-10-14T18:03:56Z) - Layer Folding: Neural Network Depth Reduction using Activation
Linearization [0.0]
現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。
線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。
我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
論文 参考訳(メタデータ) (2021-06-17T08:22:46Z) - Deep Residual Learning in Spiking Neural Networks [36.16846259899793]
スパイキングニューラルネットワーク(SNN)は勾配に基づくアプローチの最適化の難しさを示す。
ディープラーニングにおけるResNetの大きな成功を考えると、ディープラーニングで深層SNNをトレーニングするのは自然なことでしょう。
本研究では,深部SNNにおける残差学習を実現するために,スパイク要素ワイド(SEW)ResNetを提案する。
論文 参考訳(メタデータ) (2021-02-08T12:22:33Z) - Channel Planting for Deep Neural Networks using Knowledge Distillation [3.0165431987188245]
我々は,植林と呼ばれる深層ニューラルネットワークのための新しいインクリメンタルトレーニングアルゴリズムを提案する。
本システムでは,ネットワーク性能向上のためのパラメータの少ない最適ネットワークアーキテクチャを探索できる。
CIFAR-10/100 や STL-10 などの異なるデータセットに対する提案手法の有効性を評価する。
論文 参考訳(メタデータ) (2020-11-04T16:29:59Z) - Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。
まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。
勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
論文 参考訳(メタデータ) (2019-12-29T08:37:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。