論文の概要: SCOP: Scientific Control for Reliable Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2010.10732v2
• Date: Mon, 11 Jan 2021 03:06:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 23:16:48.131645
• Title: SCOP: Scientific Control for Reliable Neural Network Pruning
• Title（参考訳）: SCOP:信頼性の高いニューラルネットワークの科学的制御
• Authors: Yehui Tang, Yunhe Wang, Yixing Xu, Dacheng Tao, Chunjing Xu, Chao Xu, Chang Xu
• Abstract要約: 本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
• 参考スコア（独自算出の注目度）: 127.20073865874636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a reliable neural network pruning algorithm by setting up a scientific control. Existing pruning methods have developed various hypotheses to approximate the importance of filters to the network and then execute filter pruning accordingly. To increase the reliability of the results, we prefer to have a more rigorous research design by including a scientific control group as an essential part to minimize the effect of all factors except the association between the filter and expected network output. Acting as a control group, knockoff feature is generated to mimic the feature map produced by the network filter, but they are conditionally independent of the example label given the real feature map. We theoretically suggest that the knockoff condition can be approximately preserved given the information propagation of network layers. Besides the real feature map on an intermediate layer, the corresponding knockoff feature is brought in as another auxiliary input signal for the subsequent layers. Redundant filters can be discovered in the adversarial process of different features. Through experiments, we demonstrate the superiority of the proposed algorithm over state-of-the-art methods. For example, our method can reduce 57.8% parameters and 60.2% FLOPs of ResNet-101 with only 0.01% top-1 accuracy loss on ImageNet. The code is available at https://github.com/huawei-noah/Pruning/tree/master/SCOP_NeurIPS2020.
• Abstract（参考訳）: 本稿では,科学的制御の設定による信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 既存のプルーニング手法は,ネットワークに対するフィルタの重要性を近似し,それに応じてフィルタプルーニングを実行するための様々な仮説を開発した。 結果の信頼性を高めるためには,フィルタと期待されるネットワーク出力の関連性以外のすべての要因の影響を最小限に抑えるために,科学的な制御グループを欠くことにより,より厳密な研究設計が望ましい。 制御グループとして機能するノックオフ機能は、ネットワークフィルタが生成する特徴マップを模倣するために生成されるが、実際の特徴マップが与えられた例ラベルとは条件的に独立している。 ネットワーク層の情報伝達により,ノックオフ状態は概ね保存可能であることを理論的に示唆する。 中間層上の実特徴マップの他に、次の層に対する別の補助入力信号として対応するノックオフ特徴を取り込む。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 実験により,提案手法が最先端手法よりも優れていることを示す。 例えば、この手法はresnet-101の57.8%のパラメータと60.2%のフラップを削減でき、imagenetのtop-1精度損失はわずか0.01%である。 コードはhttps://github.com/huawei-noah/Pruning/tree/master/SCOP_NeurIPS2020で公開されている。

関連論文リスト

• Structured Network Pruning by Measuring Filter-wise Interactions [6.037167142826297]
  SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。 刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。 我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-03T05:26:05Z)
• Network Pruning via Feature Shift Minimization [8.593369249204132]
  本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
  論文  参考訳（メタデータ） (2022-07-06T12:50:26Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks [3.5636461829966093]
  階層型群スパース正規化を用いたフィルタプルーニング法を提案する。 CIFAR-10ではResNetの50%以上のパラメータを削減できるが、テストサンプルの精度は0.3%しか低下しない。 また、TinyImageNet-200では、ResNetの34%のパラメータがベースラインネットワークよりも高い精度で削減されている。
  論文  参考訳（メタデータ） (2020-11-04T16:29:41Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
  マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。 我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。 提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
  論文  参考訳（メタデータ） (2020-01-15T20:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。