論文の概要: ABCP: Automatic Block-wise and Channel-wise Network Pruning via Joint Search

• arxiv url: http://arxiv.org/abs/2110.03858v1
• Date: Fri, 8 Oct 2021 02:15:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-11 13:16:35.775698
• Title: ABCP: Automatic Block-wise and Channel-wise Network Pruning via Joint Search
• Title（参考訳）: abcp:ジョイント検索によるブロックワイズとチャネルワイズネットワークの自動pruning
• Authors: Jiaqi Li, Haoran Li, Yaran Chen, Zixiang Ding, Nannan Li, Mingjun Ma, Zicheng Duan, and Dongbing Zhao
• Abstract要約: 本稿では,ブロックワイド・チャネルワイド・ネットワーク・プルーニング(ABCP)を提案し,ブロックワイド・チャネルワイド・プルーニング動作と深い強化学習を併用する。 従来のルールベースプルーニング法と比較して、このパイプラインは人間の労力を節約し、より低い精度の損失で高い圧縮比を達成する。 モバイルロボット検出データセットでテストされたYOLOv3モデルは、99.5%のFLOPを節約し、99.5%のパラメータを削減し、わずか2.8%のmAP損失で37.3倍の速度向上を達成した。
• 参考スコア（独自算出の注目度）: 10.544159086698112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently, an increasing number of model pruning methods are proposed to resolve the contradictions between the computer powers required by the deep learning models and the resource-constrained devices. However, most of the traditional rule-based network pruning methods can not reach a sufficient compression ratio with low accuracy loss and are time-consuming as well as laborious. In this paper, we propose Automatic Block-wise and Channel-wise Network Pruning (ABCP) to jointly search the block-wise and channel-wise pruning action with deep reinforcement learning. A joint sample algorithm is proposed to simultaneously generate the pruning choice of each residual block and the channel pruning ratio of each convolutional layer from the discrete and continuous search space respectively. The best pruning action taking both the accuracy and the complexity of the model into account is obtained finally. Compared with the traditional rule-based pruning method, this pipeline saves human labor and achieves a higher compression ratio with lower accuracy loss. Tested on the mobile robot detection dataset, the pruned YOLOv3 model saves 99.5% FLOPs, reduces 99.5% parameters, and achieves 37.3 times speed up with only 2.8% mAP loss. The results of the transfer task on the sim2real detection dataset also show that our pruned model has much better robustness performance.
• Abstract（参考訳）: 現在,深層学習モデルと資源制約デバイスが必要とするコンピュータパワーの矛盾を解決するために,モデルプルーニング手法が増えている。 しかし、従来のルールベースのネットワークプルーニング手法のほとんどは、精度の低い十分な圧縮比に達しず、時間を要するだけでなく、手間もかかる。 本稿では,ブロックワイズおよびチャネルワイズネットワークpruning (abcp) を用いて,深層強化学習によるブロックワイズおよびチャネルワイズpruning動作を共同探索する手法を提案する。 各残差ブロックのプルーニング選択と,各畳み込み層のチャネルプルーニング比をそれぞれ離散的かつ連続的な探索空間から同時に生成する共同サンプルアルゴリズムを提案する。 モデルの精度と複雑さを考慮に入れた最良の刈り取り動作が最終的に得られる。 従来のルールベースプルーニング法と比較して、このパイプラインは人的労力を削減し、高い圧縮率と低い精度の損失を達成する。 モバイルロボット検出データセットでテストされたYOLOv3モデルは、99.5%のFLOPを節約し、99.5%のパラメータを削減し、わずか2.8%のmAP損失で37.3倍の速度向上を達成した。 sim2real 検出データセットの転送タスクの結果から, 刈り取ったモデルの方がロバスト性が高いことがわかった。

関連論文リスト

• Group channel pruning and spatial attention distilling for object detection [2.8675002818821542]
  動的スパーストレーニング,グループチャネルプルーニング,空間アテンション蒸留という3段階モデル圧縮手法を提案する。 本手法は,モデルのパラメータを64.7%削減し,計算量を34.9%削減する。
  論文  参考訳（メタデータ） (2023-06-02T13:26:23Z)
• Surrogate Lagrangian Relaxation: A Path To Retrain-free Deep Neural Network Pruning [9.33753001494221]
  ネットワークプルーニングは、ディープニューラルネットワークの計算コストとモデルサイズの削減に広く用いられている手法である。 本稿では,サロゲートラグランジアン緩和に基づく体系的な重み付け最適化手法を開発する。
  論文  参考訳（メタデータ） (2023-04-08T22:48:30Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation [2.691929135895278]
  サロゲート・ラグランジアン・リラクゼーション(SLR)に基づく体系的な軽量化最適化手法を開発。 SLRは、同じ精度で最先端技術よりも高い圧縮率を達成する。 再学習の予算が限られているため,本手法はモデル精度を迅速に回復する。
  論文  参考訳（メタデータ） (2020-12-18T07:17:30Z)
• AutoPruning for Deep Neural Network with Dynamic Channel Masking [28.018077874687343]
  深層ニューラルネットワークのための学習に基づくオートプルーニングアルゴリズムを提案する。 まず、各層に対する重みと最良チャネルを目的とする2つの目的の問題を定式化する。 次に、最適なチャネル数と重みを同時に導出するために、別の最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T20:12:46Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)
• Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
  既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。 本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。 画像分類と顔認識の両方の実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-01-04T07:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。