論文の概要: Effective Model Compression via Stage-wise Pruning

• arxiv url: http://arxiv.org/abs/2011.04908v2
• Date: Wed, 22 Sep 2021 09:30:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 07:42:20.107998
• Title: Effective Model Compression via Stage-wise Pruning
• Title（参考訳）: ステージワイズプルーニングによる効果的なモデル圧縮
• Authors: Mingyang Zhang, Xinyi Yu, Jingtao Rong, Linlin Ou
• Abstract要約: 以前の研究では、多くのAuto-MLプルーニング法の結果が、一様プルーニング法の結果を超えることさえできないことが判明した。 本稿では,スーパーネットの不完全かつ不公平なトレーニングによって生じるオートMLプルーニングの非効率性を示す。 実験の結果、SWPはモバイル環境下でCIFAR-10とImageNetの両方で最先端を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 1.3537414663819973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Machine Learning(Auto-ML) pruning methods aim at searching a pruning strategy automatically to reduce the computational complexity of deep Convolutional Neural Networks(deep CNNs). However, some previous work found that the results of many Auto-ML pruning methods cannot even surpass the results of the uniformly pruning method. In this paper, the ineffectiveness of Auto-ML pruning which is caused by unfull and unfair training of the supernet is shown. A deep supernet suffers from unfull training because it contains too many candidates. To overcome the unfull training, a stage-wise pruning(SWP) method is proposed, which splits a deep supernet into several stage-wise supernets to reduce the candidate number and utilize inplace distillation to supervise the stage training. Besides, A wide supernet is hit by unfair training since the sampling probability of each channel is unequal. Therefore, the fullnet and the tinynet are sampled in each training iteration to ensure each channel can be overtrained. Remarkably, the proxy performance of the subnets trained with SWP is closer to the actual performance than that of most of the previous Auto-ML pruning work. Experiments show that SWP achieves the state-of-the-art on both CIFAR-10 and ImageNet under the mobile setting.
• Abstract（参考訳）: 自動機械学習(Auto-ML)プルーニング手法は、深層畳み込みニューラルネットワーク(Deep CNN)の計算複雑性を低減するために、プルーニング戦略を自動的に検索することを目的としている。 しかし、以前の研究では、多くのAuto-MLプルーニング法の結果が、一様プルーニング法の結果を超えないことが判明した。 本稿では,スーパーネットの不完全かつ不公平なトレーニングによって生じるオートMLプルーニングの非効率性を示す。 ディープスーパーネットは、候補が多すぎるため、アンフルトレーニングに苦しむ。 未熟な訓練を克服するために, 深層スーパーネットをいくつかの段階的スーパーネットに分割し, 候補数を削減し, 埋込み蒸留を利用してステージトレーニングを監督するステージワイズプルーニング(swp)法が提案されている。 また、各チャンネルのサンプリング確率が不平等であるため、広いスーパーネットが不公平なトレーニングを受ける。 従って、各トレーニングイテレーションでフルネットとtinynetをサンプリングし、各チャネルをオーバートレーニングできるようにする。 SWPでトレーニングされたサブネットのプロキシ性能は、以前のAuto-MLプルーニング作業よりも実際のパフォーマンスに近い。 実験の結果、SWPはモバイル環境下でCIFAR-10とImageNetの両方で最先端を実現していることがわかった。

関連論文リスト

• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [3.2214522506924093]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Hebbian Semi-Supervised Learning in a Sample Efficiency Setting [10.026753669198108]
  DCNN(Deep Convolutional Neural Networks)のための半監督型トレーニング戦略を提案する。 すべての内部層(畳み込み層と完全連結層)は、ヘビアン学習に基づく教師なしのアプローチを用いて事前訓練される。
  論文  参考訳（メタデータ） (2021-03-16T11:57:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Pruning Convolutional Filters using Batch Bridgeout [14.677724755838556]
  最先端のコンピュータビジョンモデルでは、トレーニングセットに適合するために必要なパラメータ数がはるかに多いため、能力が急速に向上している。 これにより最適化と一般化性能が向上する。 推論コストを削減するために、トレーニングされたニューラルネットワークの畳み込みフィルタを切断することで、推論中の実行時のメモリと計算要求を削減できる。 本稿では,ニューラルネットワークの性能低下を最小限に抑え,効率よく刈り取ることができるようにトレーニングするために,スパシティ誘導正規化スキームであるBatch Bridgeoutを提案する。
  論文  参考訳（メタデータ） (2020-09-23T01:51:47Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
  本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。 ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
  論文  参考訳（メタデータ） (2020-02-07T18:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。