論文の概要: Comprehensive Online Network Pruning via Learnable Scaling Factors

• arxiv url: http://arxiv.org/abs/2010.02623v1
• Date: Tue, 6 Oct 2020 11:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:53:29.952909
• Title: Comprehensive Online Network Pruning via Learnable Scaling Factors
• Title（参考訳）: 学習可能なスケーリングファクタによる網羅的オンラインネットワークプルーニング
• Authors: Muhammad Umair Haider, Murtaza Taj
• Abstract要約: ディープCNNは、その重要性に基づいてフィルタを除去することで幅的に刈り取るか、レイヤやブロックを除去することで深さ的に刈り取ることができる。 本研究では,幅ワイドおよび深さワイドプルーニングを両立できる包括的プルーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 3.274290296343038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the major challenges in deploying deep neural network architectures is their size which has an adverse effect on their inference time and memory requirements. Deep CNNs can either be pruned width-wise by removing filters based on their importance or depth-wise by removing layers and blocks. Width wise pruning (filter pruning) is commonly performed via learnable gates or switches and sparsity regularizers whereas pruning of layers has so far been performed arbitrarily by manually designing a smaller network usually referred to as a student network. We propose a comprehensive pruning strategy that can perform both width-wise as well as depth-wise pruning. This is achieved by introducing gates at different granularities (neuron, filter, layer, block) which are then controlled via an objective function that simultaneously performs pruning at different granularity during each forward pass. Our approach is applicable to wide-variety of architectures without any constraints on spatial dimensions or connection type (sequential, residual, parallel or inception). Our method has resulted in a compression ratio of 70% to 90% without noticeable loss in accuracy when evaluated on benchmark datasets.
• Abstract（参考訳）: ディープニューラルネットワークアーキテクチャのデプロイにおける大きな課題のひとつは、そのサイズが推論時間とメモリ要求に悪影響を及ぼすことだ。 深層cnnは、その重要性に基づいてフィルターを取り除いたり、層やブロックを取り除いたりすることで幅方向に刈り取ることができる。 幅ワイズ・プルーニング(フィルタ・プルーニング)は学習可能なゲートやスイッチ、スパーシティ・レギュラライザで一般的に行われるが、レイヤーのプルーニングは、通常学生ネットワークと呼ばれるより小さなネットワークを手作業で設計することで任意に行われている。 本研究では,幅ワイドおよび深さワイドプルーニングを両立できる包括的プルーニング戦略を提案する。 これは、異なる粒度(神経、フィルター、層、ブロック)のゲートを導入することで実現され、フォワードパス毎に異なる粒度でプルーニングを同時に実行する目的関数を介して制御される。 本手法は,空間次元や接続タイプ(シーケンス,残差,並列,インセプション)に制約を伴わない,多様なアーキテクチャに適用できる。 本手法は,ベンチマークデータセットで評価した場合,精度を著しく損なうことなく,70%から90%の圧縮率が得られた。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning [1.3467579878240454]
  畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
  論文  参考訳（メタデータ） (2021-08-06T00:04:02Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• Grow-Push-Prune: aligning deep discriminants for effective structural network compression [5.532477732693]
  本稿では,タスク依存型コンパクトモデルの深層判別分析の観点から導出を試みる。 本稿では,プッシュステップとプルーニングステップを交互に交互に行う分類タスクに対して,反復的かつ積極的なアプローチを提案する。 MNIST、CIFAR10、ImageNetデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-09-29T01:29:23Z)
• On the Predictability of Pruning Across Scales [29.94870276983399]
  等級決定ネットワークの誤差は、アーキテクチャやタスクに依存する解釈可能な係数を持つスケーリング法則を経験的に従うことを示す。 ニューラルネットワークがより大きく、訓練にコストがかかるようになるにつれて、我々の発見は、非構造化プルーニングの標準的な方法に関する概念的かつ分析的な推論の枠組みを示唆している。
  論文  参考訳（メタデータ） (2020-06-18T15:41:46Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
  マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。 我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。 提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
  論文  参考訳（メタデータ） (2020-01-15T20:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。