論文の概要: Group Fisher Pruning for Practical Network Compression

• arxiv url: http://arxiv.org/abs/2108.00708v1
• Date: Mon, 2 Aug 2021 08:21:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:33:34.929409
• Title: Group Fisher Pruning for Practical Network Compression
• Title（参考訳）: 実用的ネットワーク圧縮のためのグループフィッシャープルーニング
• Authors: Liyang Liu, Shilong Zhang, Zhanghui Kuang, Aojun Zhou, Jing-Hao Xue, Xinjiang Wang, Yimin Chen, Wenming Yang, Qingmin Liao, Wayne Zhang
• Abstract要約: 本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
• 参考スコア（独自算出の注目度）: 58.25776612812883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network compression has been widely studied since it is able to reduce the memory and computation cost during inference. However, previous methods seldom deal with complicated structures like residual connections, group/depth-wise convolution and feature pyramid network, where channels of multiple layers are coupled and need to be pruned simultaneously. In this paper, we present a general channel pruning approach that can be applied to various complicated structures. Particularly, we propose a layer grouping algorithm to find coupled channels automatically. Then we derive a unified metric based on Fisher information to evaluate the importance of a single channel and coupled channels. Moreover, we find that inference speedup on GPUs is more correlated with the reduction of memory rather than FLOPs, and thus we employ the memory reduction of each channel to normalize the importance. Our method can be used to prune any structures including those with coupled channels. We conduct extensive experiments on various backbones, including the classic ResNet and ResNeXt, mobile-friendly MobileNetV2, and the NAS-based RegNet, both on image classification and object detection which is under-explored. Experimental results validate that our method can effectively prune sophisticated networks, boosting inference speed without sacrificing accuracy.
• Abstract（参考訳）: ネットワーク圧縮は、推論中にメモリと計算コストを削減できるため、広く研究されている。 しかし、従来の手法では、残差接続、グループ/奥行き畳み込み、機能ピラミッドネットワークなどの複雑な構造を扱うことはほとんどなく、複数の層が結合され、同時に刈り取る必要がある。 本稿では,様々な複雑な構造に適用可能な一般チャネルプルーニング手法を提案する。 特に,結合チャネルを自動的に見つけるための層グループ化アルゴリズムを提案する。 次に,フィッシャー情報に基づく統一指標を導出して,単一チャネルと結合チャネルの重要性を評価する。 さらに,gpu上での推論の高速化はフラップよりもメモリ削減とより相関しており,各チャネルのメモリ削減を重要度を正規化するために採用している。 本手法はチャネル結合構造を含む任意の構造をプルーピングするために使用できる。 我々は,従来のResNetやResNeXt,モバイルフレンドリーなMobileNetV2,NASベースのRegNetなど,さまざまなバックボーンに関する広範な実験を行い,画像分類と対象検出について検討する。 実験により,提案手法は精度を犠牲にすることなく,推論速度を向上できることを確認した。

関連論文リスト

• Joint Channel Estimation and Feedback with Masked Token Transformers in Massive MIMO Systems [74.52117784544758]
  本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。 エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。 提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
  論文  参考訳（メタデータ） (2023-06-08T06:15:17Z)
• Group channel pruning and spatial attention distilling for object detection [2.8675002818821542]
  動的スパーストレーニング,グループチャネルプルーニング,空間アテンション蒸留という3段階モデル圧縮手法を提案する。 本手法は,モデルのパラメータを64.7%削減し,計算量を34.9%削減する。
  論文  参考訳（メタデータ） (2023-06-02T13:26:23Z)
• Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
  チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:59:04Z)
• Low Complexity Channel estimation with Neural Network Solutions [1.0499453838486013]
  我々は、ダウンリンクシナリオでチャネル推定を実現するために、一般的な残差畳み込みニューラルネットワークをデプロイする。 チャネル推定における他のディープラーニング手法と比較して,平均二乗誤差計算の改善が示唆された。
  論文  参考訳（メタデータ） (2022-01-24T19:55:10Z)
• CONetV2: Efficient Auto-Channel Size Optimization for CNNs [35.951376988552695]
  本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。 チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。 また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
  論文  参考訳（メタデータ） (2021-10-13T16:17:19Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。