論文の概要: Learn&Drop: Fast Learning of CNNs based on Layer Dropping

• arxiv url: http://arxiv.org/abs/2604.23403v1
• Date: Sat, 25 Apr 2026 18:39:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.317165
• Title: Learn&Drop: Fast Learning of CNNs based on Layer Dropping
• Title（参考訳）: Learn&Drop: レイヤドロップに基づくCNNの高速学習
• Authors: Giorgio Cruciata, Luca Cruciata, Liliana Lo Presti, Jan Van Gemert, Marco La Cascia,
• Abstract要約: 本稿では,深部畳み込みニューラルネットワークのトレーニング効率を向上させるための新しい手法を提案する。 提案手法は,トレーニング中の前方伝搬におけるネットワークの動作回数を削減することに焦点を当てる。 実験の結果,提案手法により,モデルのトレーニング時間は半減し,精度に大きな影響を与えないことがわかった。
• 参考スコア（独自算出の注目度）: 10.286174061338867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a new method to improve the training efficiency of deep convolutional neural networks. During training, the method evaluates scores to measure how much each layer's parameters change and whether the layer will continue learning or not. Based on these scores, the network is scaled down such that the number of parameters to be learned is reduced, yielding a speed up in training. Unlike state-of-the-art methods that try to compress the network to be used in the inference phase or to limit the number of operations performed in the backpropagation phase, the proposed method is novel in that it focuses on reducing the number of operations performed by the network in the forward propagation during training. The proposed training strategy has been validated on two widely used architecture families: VGG and ResNet. Experiments on MNIST, CIFAR-10 and Imagenette show that, with the proposed method, the training time of the models is more than halved without significantly impacting accuracy. The FLOPs reduction in the forward propagation during training ranges from 17.83\% for VGG-11 to 83.74\% for ResNet-152. These results demonstrate the effectiveness of the proposed technique in speeding up learning of CNNs. The technique will be especially useful in applications where fine-tuning or online training of convolutional models is required, for instance because data arrive sequentially.
• Abstract（参考訳）: 本稿では,深部畳み込みニューラルネットワークのトレーニング効率を向上させるための新しい手法を提案する。 トレーニング中、各レイヤのパラメータがどの程度変化するか、そしてレイヤーが学習を続けるかどうかを測定するためにスコアを評価する。 これらのスコアに基づいて、ネットワークをスケールダウンし、学習すべきパラメータの数を削減し、トレーニングのスピードアップをもたらす。 推論フェーズで使用されるネットワークを圧縮したり、バックプロパゲーションフェーズで実行される操作数を制限しようとする最先端の手法とは異なり、本手法はトレーニング中の前方伝播においてネットワークによって実行される操作数を減少させることに重点を置いている。 提案されたトレーニング戦略は、広く使用されている2つのアーキテクチャファミリ、VGGとResNetで検証されている。 MNIST, CIFAR-10, Imagenetteによる実験により, 提案手法により, モデルのトレーニング時間は半減し, 精度に大きな影響を与えないことがわかった。 VGG-11では17.83\%、ResNet-152では83.74\%である。 これらの結果から,CNNの学習を高速化する手法の有効性が示された。 このテクニックは、例えばデータが順次到着するなど、畳み込みモデルの微調整やオンライントレーニングが必要なアプリケーションでは特に有用である。

関連論文リスト

• Training of Spiking Neural Networks with Expectation-Propagation [9.24888258922809]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための統一メッセージパッシングフレームワークを提案する。 本手法は,ネットワークパラメータの辺り分布を学習し,隠れ層の出力などのパラメータの辺縁化を同時に行うことができる。
  論文  参考訳（メタデータ） (2025-06-30T11:59:56Z)
• Grad-Instructor: Universal Backpropagation with Explainable Evaluation Neural Networks for Meta-learning and AutoML [0.0]
  評価ニューラルネットワーク(ENN)は、ターゲットネットワークの性能を予測するために、深層強化学習を通じて訓練される。 ENNは、バックプロパゲーション中に追加評価機能として機能する。
  論文  参考訳（メタデータ） (2024-06-15T08:37:51Z)
• SpikePipe: Accelerated Training of Spiking Neural Networks via Inter-Layer Pipelining and Multiprocessor Scheduling [5.2831841848274985]
  トレーニングスパイキングニューラルネットワーク (Training Spiking Neural Networks, SNN) は、従来のニューラルネットワークに比べて計算コストが高い。 本稿では,シストリックアレイベースのプロセッサとマルチプロセッサスケジューリングを用いて,SNNのトレーニングを高速化するための層間パイプライニングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T01:43:45Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks [0.6853165736531939]
  畳み込みニューラルネットワーク(CNN)は、データから特徴を抽出する効果のため、様々なアプリケーションで広く利用されている。 層間学習法を提案し,その性能を従来の訓練法と比較する。 実験の結果, 層間学習法は両モデルの従来の訓練法よりも優れていた。
  論文  参考訳（メタデータ） (2023-03-27T14:29:18Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。