論文の概要: Sr-init: An interpretable layer pruning method

• arxiv url: http://arxiv.org/abs/2303.07677v1
• Date: Tue, 14 Mar 2023 07:26:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 16:08:39.456610
• Title: Sr-init: An interpretable layer pruning method
• Title（参考訳）: Sr-init:解釈可能な層プルーニング法
• Authors: Hui Tang, Yao Lu, Qi Xuan
• Abstract要約: 再初期化の探索による新しい層刈り法を提案する。 我々のSR-init法は、再初期化による精度低下が様々な層で異なるという発見に着想を得たものである。 特徴可視化によるSR-initの解釈可能性を実験的に検証した。
• 参考スコア（独自算出の注目度）: 11.184351630458265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the popularization of deep neural networks (DNNs) in many fields, it is still challenging to deploy state-of-the-art models to resource-constrained devices due to high computational overhead. Model pruning provides a feasible solution to the aforementioned challenges. However, the interpretation of existing pruning criteria is always overlooked. To counter this issue, we propose a novel layer pruning method by exploring the Stochastic Re-initialization. Our SR-init method is inspired by the discovery that the accuracy drop due to stochastic re-initialization of layer parameters differs in various layers. On the basis of this observation, we come up with a layer pruning criterion, i.e., those layers that are not sensitive to stochastic re-initialization (low accuracy drop) produce less contribution to the model and could be pruned with acceptable loss. Afterward, we experimentally verify the interpretability of SR-init via feature visualization. The visual explanation demonstrates that SR-init is theoretically feasible, thus we compare it with state-of-the-art methods to further evaluate its practicability. As for ResNet56 on CIFAR-10 and CIFAR-100, SR-init achieves a great reduction in parameters (63.98% and 37.71%) with an ignorable drop in top-1 accuracy (-0.56% and 0.8%). With ResNet50 on ImageNet, we achieve a 15.59% FLOPs reduction by removing 39.29% of the parameters, with only a drop of 0.6% in top-1 accuracy. Our code is available at https://github.com/huitang-zjut/SRinit.
• Abstract（参考訳）: 多くの分野でディープニューラルネットワーク(DNN)が普及しているが、高い計算オーバーヘッドのため、リソース制約のあるデバイスに最先端のモデルをデプロイすることは依然として困難である。 モデルプルーニングは、上記の課題に対する実現可能な解決策を提供する。 しかし、既存の刈り取り基準の解釈は常に見過ごされている。 そこで本研究では, 確率的再初期化を探求し, 新たな層刈り法を提案する。 sr-init法は,層パラメータの確率的再初期化による精度低下が各層で異なることを発見したことから着想を得た。 この観察に基づいて,確率的再初期化(低い精度低下)に敏感でない層がモデルへの寄与を少なくし,許容される損失で刈り取ることが可能な,層刈りの基準を導き出した。 その後,特徴可視化によるSR-initの解釈可能性について実験的に検証した。 視覚的な説明はsr-initが理論的に実現可能であることを示し、その実用性をさらに評価するために最先端の手法と比較する。 CIFAR-10とCIFAR-100のResNet56では、SR-initはパラメータの大幅な減少(63.98%と37.71%)とトップ1の精度の低下(-0.56%と0.8%)を達成している。 ImageNet上でResNet50を使用することで、パラメータの39.29%を削除し、15.59%のFLOPを削減できます。 私たちのコードはhttps://github.com/huitang-zjut/srinitで入手できます。

関連論文リスト

• Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。 本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。 スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
  論文  参考訳（メタデータ） (2024-04-06T21:33:39Z)
• Pruning On-the-Fly: A Recoverable Pruning Method without Fine-tuning [12.90416661059601]
  本稿では,超球面学習と損失ペナルティ項に基づく再学習不要プルーニング手法を提案する。 提案された損失ペナルティ項は、モデルの重みのいくつかをゼロから遠ざけ、残りの重みの値は0に近いように押し付ける。 提案手法は,プルーンド値を平均値に置き換えることで,プルーンドモデルの精度を即座に回復することができる。
  論文  参考訳（メタデータ） (2022-12-24T04:33:03Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
  プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。 構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T04:08:03Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
  レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。 残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。 本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-11-29T12:51:16Z)
• ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
  本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。 記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。 私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
  論文  参考訳（メタデータ） (2020-07-07T07:56:45Z)
• HRank: Filter Pruning using High-Rank Feature Map [149.86903824840752]
  我々は高階特徴写像(HRank)を探索する新しいフィルタ刈り法を提案する。 私たちのHRankは、単一のフィルタで生成された複数の特徴マップの平均ランクが常に同じであるという発見にインスピレーションを受けています。 HRankに基づいて,低ランク特徴写像を持つプーンフィルタに数学的に定式化する手法を開発した。
  論文  参考訳（メタデータ） (2020-02-24T11:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。