論文の概要: Energy-efficient and Robust Cumulative Training with Net2Net Transformation

• arxiv url: http://arxiv.org/abs/2003.01204v1
• Date: Mon, 2 Mar 2020 21:44:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:40:49.430476
• Title: Energy-efficient and Robust Cumulative Training with Net2Net Transformation
• Title（参考訳）: Net2Net変換を用いたエネルギー効率・ロバスト累積学習
• Authors: Aosong Feng, and Priyadarshini Panda
• Abstract要約: 本研究では,精度の低下を招くことなく,計算効率のトレーニングを実現する累積学習戦略を提案する。 まず、元のデータセットの小さなサブセット上で小さなネットワークをトレーニングし、その後徐々にネットワークを拡張します。 実験により、スクラッチからのトレーニングと比較すると、累積的なトレーニングは計算複雑性を2倍に減らすことが示された。
• 参考スコア（独自算出の注目度）: 2.4283778735260686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has achieved state-of-the-art accuracies on several computer vision tasks. However, the computational and energy requirements associated with training such deep neural networks can be quite high. In this paper, we propose a cumulative training strategy with Net2Net transformation that achieves training computational efficiency without incurring large accuracy loss, in comparison to a model trained from scratch. We achieve this by first training a small network (with lesser parameters) on a small subset of the original dataset, and then gradually expanding the network using Net2Net transformation to train incrementally on larger subsets of the dataset. This incremental training strategy with Net2Net utilizes function-preserving transformations that transfers knowledge from each previous small network to the next larger network, thereby, reducing the overall training complexity. Our experiments demonstrate that compared with training from scratch, cumulative training yields ~2x reduction in computational complexity for training TinyImageNet using VGG19 at iso-accuracy. Besides training efficiency, a key advantage of our cumulative training strategy is that we can perform pruning during Net2Net expansion to obtain a final network with optimal configuration (~0.4x lower inference compute complexity) compared to conventional training from scratch. We also demonstrate that the final network obtained from cumulative training yields better generalization performance and noise robustness. Further, we show that mutual inference from all the networks created with cumulative Net2Net expansion enables improved adversarial input detection.
• Abstract（参考訳）: ディープラーニングは、いくつかのコンピュータビジョンタスクで最先端の精度を達成している。 しかし、そのような深層ニューラルネットワークのトレーニングに関連する計算とエネルギーの要求は非常に高い。 本稿では,net2netトランスフォーメーションを用いた累積学習戦略を提案する。スクラッチからトレーニングしたモデルと比較して,大きな精度損失を伴わずに計算効率のトレーニングを実現する。 まず、元のデータセットの小さなサブセット上で小さなネットワーク(より少ないパラメータで)をトレーニングし、その後、net2net変換を使用して徐々にネットワークを拡張して、データセットのより大きなサブセットで段階的にトレーニングします。 Net2Netによるこの漸進的なトレーニング戦略は、前回の小さなネットワークから次の大きなネットワークに知識を転送する関数保存変換を利用する。 実験の結果, ゼロからのトレーニングと比較して, 累積トレーニングは, 等精度でVGG19を用いてTinyImageNetをトレーニングする際の計算複雑性を約2倍削減することがわかった。 トレーニング効率の他に,Net2Net拡張中にプルーニングを実行して,スクラッチによる従来のトレーニングと比較して,最適構成(約0.4倍低い推論計算複雑性)の最終的なネットワークを得ることが可能である。 また,累積学習から得られた最終ネットワークにより,一般化性能と雑音ロバスト性が向上することを示す。 さらに,累積的net2net拡張によって生成された全ネットワークからの相互推論により,逆入力検出が改善されることを示す。

関連論文リスト

• PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator [16.698190973547362]
  PSE-Net(英語版)は、効率的なチャネルプルーニングのための新しい並列サブネット推定器である。 提案アルゴリズムは,スーパーネットトレーニングの効率化を実現する。 本研究では,従来の進化探索の性能を高めるために,事前分散型サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-29T03:20:43Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• E2Net: Resource-Efficient Continual Learning with Elastic Expansion Network [24.732566251012422]
  本稿では,Elastic Expansion Network (E2Net) と呼ばれる資源効率のよい連続学習手法を提案する。 E2Netはより優れた平均精度を実現し、同じ計算と記憶の制約内での忘れを少なくする。 本手法は,ストレージ要件と計算要件の両方において競合よりも優れる。
  論文  参考訳（メタデータ） (2023-09-28T02:48:13Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Dynamic Sparse Training for Deep Reinforcement Learning [36.66889208433228]
  我々は,ニューラルネットワークをスクラッチから切り離した深層強化学習エージェントを動的に訓練する試みを初めて提案する。 私たちのアプローチは、既存の深層強化学習アルゴリズムに簡単に統合できます。 我々は,オープンAI体育連続制御タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-06-08T09:57:20Z)
• BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
  論文  参考訳（メタデータ） (2021-05-21T18:54:03Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
  両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-24T03:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。