論文の概要: Revisiting Random Channel Pruning for Neural Network Compression

• arxiv url: http://arxiv.org/abs/2205.05676v1
• Date: Wed, 11 May 2022 17:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 19:56:29.241746
• Title: Revisiting Random Channel Pruning for Neural Network Compression
• Title（参考訳）: ニューラルネットワーク圧縮のためのランダムチャネルプルーニングの再検討
• Authors: Yawei Li, Kamil Adamczewski, Wen Li, Shuhang Gu, Radu Timofte, Luc Van Gool
• Abstract要約: チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
• 参考スコア（独自算出の注目度）: 159.99002793644163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Channel (or 3D filter) pruning serves as an effective way to accelerate the inference of neural networks. There has been a flurry of algorithms that try to solve this practical problem, each being claimed effective in some ways. Yet, a benchmark to compare those algorithms directly is lacking, mainly due to the complexity of the algorithms and some custom settings such as the particular network configuration or training procedure. A fair benchmark is important for the further development of channel pruning. Meanwhile, recent investigations reveal that the channel configurations discovered by pruning algorithms are at least as important as the pre-trained weights. This gives channel pruning a new role, namely searching the optimal channel configuration. In this paper, we try to determine the channel configuration of the pruned models by random search. The proposed approach provides a new way to compare different methods, namely how well they behave compared with random pruning. We show that this simple strategy works quite well compared with other channel pruning methods. We also show that under this setting, there are surprisingly no clear winners among different channel importance evaluation methods, which then may tilt the research efforts into advanced channel configuration searching methods.
• Abstract（参考訳）: チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 この現実的な問題を解決するアルゴリズムが急増しており、それぞれが何らかの方法で効果的であると主張されている。 しかし、アルゴリズムを直接比較するベンチマークは不足しており、主にアルゴリズムの複雑さと、特定のネットワーク構成やトレーニング手順のようなカスタム設定のためである。 チャネルプルーニングのさらなる発展には,公正なベンチマークが重要である。 一方、最近の研究では、プルーニングアルゴリズムによって発見されたチャネル構成は、事前訓練された重み付けと同じくらい重要であることが示されている。 これにより、チャネルプルーニングは新しい役割、すなわち最適なチャネル構成を探索する。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 提案手法は,異なる手法,すなわちランダムプルーニングと比較してどのように振る舞うかを比較する新しい方法を提供する。 この単純な戦略は他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。 また,この条件下では,異なるチャネル重要度評価手法に驚くほど明確な勝者は存在せず,その研究成果を先進的なチャネル構成探索手法に傾けることができることを示した。

関連論文リスト

• Network Pruning via Feature Shift Minimization [8.593369249204132]
  本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
  論文  参考訳（メタデータ） (2022-07-06T12:50:26Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot [55.37967301483917]
  従来のプルーニングアルゴリズムの知恵は、プルーニング手法がトレーニングデータから情報を利用して良い作品を見つけることを示唆している。 本稿では,近年の非構造的刈り取り法について,上記の信念の正当性チェックを行う。 本稿では,各層に対して単純なデータに依存しないプーン比を提案し,サブネットワークを得るために各層をランダムにプーンする。
  論文  参考訳（メタデータ） (2020-09-22T17:36:17Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• DMCP: Differentiable Markov Channel Pruning for Neural Networks [67.51334229530273]
  DMCP (diffariable Markov Channel Pruning) と命名された新しいチャネルプルーニング法を提案する。 本手法は微分可能であり,標準タスク損失や予算正規化に関して,勾配勾配により直接最適化することができる。 提案手法の有効性を検証するため,ResNet と MobilenetV2 を用いたImagenet 実験を行った。
  論文  参考訳（メタデータ） (2020-05-07T09:39:55Z)
• Channel Pruning via Automatic Structure Search [109.83642249625098]
  そこで我々は,ABCPrunerと呼ばれる人工蜂コロニーアルゴリズム(ABC)に基づく新たなチャネルプルーニング手法を提案する。 ABCPrunerはより効果的であることが証明されており、細調整をエンドツーエンドで効率的に行うことができる。
  論文  参考訳（メタデータ） (2020-01-23T14:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。