論文の概要: PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator

• arxiv url: http://arxiv.org/abs/2408.16233v1
• Date: Thu, 29 Aug 2024 03:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 15:05:40.584674
• Title: PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator
• Title（参考訳）: PSE-Net:並列サブネット推定器を用いた畳み込みニューラルネットワークのためのチャネルプルーニング
• Authors: Shiguang Wang, Tao Xie, Haijun Liu, Xingcheng Zhang, Jian Cheng,
• Abstract要約: PSE-Net(英語版)は、効率的なチャネルプルーニングのための新しい並列サブネット推定器である。 提案アルゴリズムは,スーパーネットトレーニングの効率化を実現する。 本研究では,従来の進化探索の性能を高めるために,事前分散型サンプリングアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 16.698190973547362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Channel Pruning is one of the most widespread techniques used to compress deep neural networks while maintaining their performances. Currently, a typical pruning algorithm leverages neural architecture search to directly find networks with a configurable width, the key step of which is to identify representative subnet for various pruning ratios by training a supernet. However, current methods mainly follow a serial training strategy to optimize supernet, which is very time-consuming. In this work, we introduce PSE-Net, a novel parallel-subnets estimator for efficient channel pruning. Specifically, we propose a parallel-subnets training algorithm that simulate the forward-backward pass of multiple subnets by droping extraneous features on batch dimension, thus various subnets could be trained in one round. Our proposed algorithm facilitates the efficiency of supernet training and equips the network with the ability to interpolate the accuracy of unsampled subnets, enabling PSE-Net to effectively evaluate and rank the subnets. Over the trained supernet, we develop a prior-distributed-based sampling algorithm to boost the performance of classical evolutionary search. Such algorithm utilizes the prior information of supernet training phase to assist in the search of optimal subnets while tackling the challenge of discovering samples that satisfy resource constraints due to the long-tail distribution of network configuration. Extensive experiments demonstrate PSE-Net outperforms previous state-of-the-art channel pruning methods on the ImageNet dataset while retaining superior supernet training efficiency. For example, under 300M FLOPs constraint, our pruned MobileNetV2 achieves 75.2% Top-1 accuracy on ImageNet dataset, exceeding the original MobileNetV2 by 2.6 units while only cost 30%/16% times than BCNet/AutoAlim.
• Abstract（参考訳）: チャネルプルーニング(Channel Pruning)は、ディープニューラルネットワークを圧縮し、その性能を維持するために最も広く使われているテクニックの1つである。 現在、典型的なプルーニングアルゴリズムは、ニューラルアーキテクチャ検索を利用して、構成可能な幅のネットワークを直接見つけ、そのキーステップは、スーパーネットをトレーニングすることで、様々なプルーニング比の代表サブネットを特定することである。 しかし、現在の手法は主に、非常に時間がかかるスーパーネットを最適化するためのシリアルトレーニング戦略に従っている。 本研究では,PSE-Netを提案する。PSE-Netは,並列サブネットを用いた高速チャネルプルーニングのための並列サブネット推定器である。 具体的には,バッチ次元に外部特徴をドロップすることで,複数のサブネットの前向きパスをシミュレートする並列サブネットトレーニングアルゴリズムを提案する。 提案アルゴリズムは,スーパーネットトレーニングの効率を向上し,未サンプリングサブネットの精度を補間し,PSE-Netを効果的に評価・ランク付けすることを可能にする。 トレーニングされたスーパーネット上で,従来の進化探索の性能を高めるために,事前分散型サンプリングアルゴリズムを開発した。 このようなアルゴリズムは、ネットワーク構成の長期分布による資源制約を満たすサンプルの発見という課題に対処しつつ、最適なサブネットの探索を支援するために、スーパーネットトレーニングフェーズの事前情報を利用する。 大規模な実験では、PSE-NetはImageNetデータセット上で従来の最先端チャネルプルーニング手法よりも優れており、優れたスーパーネットトレーニング効率を維持している。 例えば、300M FLOPの制約下において、当社の刈り取られたMobileNetV2は、ImageNetデータセット上で75.2%のTop-1精度を実現し、オリジナルのMobileNetV2を2.6単位上回る一方で、BCNet/AutoAlimの30%/16%のコストしかかからない。

関連論文リスト

• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Boosting Residual Networks with Group Knowledge [75.73793561417702]
  最近の研究は、暗黙のアンサンブルモデルの新しい視点から、残余ネットワークを理解する。 深度学習や刺激訓練といった従来の手法は, サンプリングとトレーニングにより, 残留ネットワークの性能をさらに向上させてきた。 残余ネットワークの性能を高めるためのグループ知識に基づくトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-26T05:39:57Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
  論文  参考訳（メタデータ） (2022-03-25T15:32:46Z)
• i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery [11.119895959906085]
  ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。 i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。 高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
  論文  参考訳（メタデータ） (2021-12-07T05:26:45Z)
• Prioritized Subnet Sampling for Resource-Adaptive Supernet Training [136.6591624918964]
  資源適応型スーパーネットであるPSS-Netを学習するための優先順位付きサブネットサンプリングを提案する。 MobileNetV1/V2を用いたImageNetの実験では、当社のPSS-Netは、最先端のリソース適応型スーパーネットより優れていることが示されている。
  論文  参考訳（メタデータ） (2021-09-12T04:43:51Z)
• BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
  論文  参考訳（メタデータ） (2021-05-21T18:54:03Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Energy-efficient and Robust Cumulative Training with Net2Net Transformation [2.4283778735260686]
  本研究では,精度の低下を招くことなく,計算効率のトレーニングを実現する累積学習戦略を提案する。 まず、元のデータセットの小さなサブセット上で小さなネットワークをトレーニングし、その後徐々にネットワークを拡張します。 実験により、スクラッチからのトレーニングと比較すると、累積的なトレーニングは計算複雑性を2倍に減らすことが示された。
  論文  参考訳（メタデータ） (2020-03-02T21:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。