論文の概要: Revisiting Random Channel Pruning for Neural Network Compression

• arxiv url: http://arxiv.org/abs/2205.05676v1
• Date: Wed, 11 May 2022 17:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 19:56:29.241746
• Title: Revisiting Random Channel Pruning for Neural Network Compression
• Title（参考訳）: ニューラルネットワーク圧縮のためのランダムチャネルプルーニングの再検討
• Authors: Yawei Li, Kamil Adamczewski, Wen Li, Shuhang Gu, Radu Timofte, Luc Van Gool
• Abstract要約: チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
• 参考スコア（独自算出の注目度）: 159.99002793644163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Channel (or 3D filter) pruning serves as an effective way to accelerate the inference of neural networks. There has been a flurry of algorithms that try to solve this practical problem, each being claimed effective in some ways. Yet, a benchmark to compare those algorithms directly is lacking, mainly due to the complexity of the algorithms and some custom settings such as the particular network configuration or training procedure. A fair benchmark is important for the further development of channel pruning. Meanwhile, recent investigations reveal that the channel configurations discovered by pruning algorithms are at least as important as the pre-trained weights. This gives channel pruning a new role, namely searching the optimal channel configuration. In this paper, we try to determine the channel configuration of the pruned models by random search. The proposed approach provides a new way to compare different methods, namely how well they behave compared with random pruning. We show that this simple strategy works quite well compared with other channel pruning methods. We also show that under this setting, there are surprisingly no clear winners among different channel importance evaluation methods, which then may tilt the research efforts into advanced channel configuration searching methods.
• Abstract（参考訳）: チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 この現実的な問題を解決するアルゴリズムが急増しており、それぞれが何らかの方法で効果的であると主張されている。 しかし、アルゴリズムを直接比較するベンチマークは不足しており、主にアルゴリズムの複雑さと、特定のネットワーク構成やトレーニング手順のようなカスタム設定のためである。 チャネルプルーニングのさらなる発展には,公正なベンチマークが重要である。 一方、最近の研究では、プルーニングアルゴリズムによって発見されたチャネル構成は、事前訓練された重み付けと同じくらい重要であることが示されている。 これにより、チャネルプルーニングは新しい役割、すなわち最適なチャネル構成を探索する。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 提案手法は,異なる手法,すなわちランダムプルーニングと比較してどのように振る舞うかを比較する新しい方法を提供する。 この単純な戦略は他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。 また,この条件下では,異なるチャネル重要度評価手法に驚くほど明確な勝者は存在せず,その研究成果を先進的なチャネル構成探索手法に傾けることができることを示した。
• 全文 参考訳へのリンク

関連論文リスト

• Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
  論文  参考訳（メタデータ） (2022-03-25T15:32:46Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [46.85890872631859]
  本稿では,計算負荷を低減し,モデル推論を高速化するクラス認識トレース比最適化(CATRO)を提案する。 CATROは,他の最先端チャネルプルーニングアルゴリズムと同等の精度で,類似のコストや低コストで高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Robust MIMO Detection using Hypernetworks with Learned Regularizers [28.917679125825]
  本稿では,シンボル誤り率(SER)とチャネルの一般性とのバランスをとろうとする手法を提案する。 提案手法は,特定のチャネル上で正常に動作するニューラルネットワークベースの検出器のパラメータを生成するハイパーネットワークに基づいている。
  論文  参考訳（メタデータ） (2021-10-13T22:07:13Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• CONet: Channel Optimization for Convolutional Neural Networks [33.58529066005248]
  畳み込みニューラルネットワーク(CNN)におけるチャネルサイズ最適化の検討 ネットワーク層をまたいだCNNのチャネルサイズを自動的に最適化する,効率的な動的スケーリングアルゴリズムであるConetを導入します。 CIFAR10/100およびImageNetデータセット上で実験を行い、ConetがResNet、DARTS、DARTS+空間で探索された効率的で正確なアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-08-15T21:48:25Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
  論文  参考訳（メタデータ） (2021-05-21T18:54:03Z)
• BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch Whitening [63.081808698068365]
  本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。 以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。 本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
  論文  参考訳（メタデータ） (2021-05-13T17:00:05Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。