論文の概要: Pruning On-the-Fly: A Recoverable Pruning Method without Fine-tuning

• arxiv url: http://arxiv.org/abs/2212.12651v1
• Date: Sat, 24 Dec 2022 04:33:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 14:23:35.157094
• Title: Pruning On-the-Fly: A Recoverable Pruning Method without Fine-tuning
• Title（参考訳）: フライングオン・ザ・フライ:微調整を伴わない回収可能なプルーニング法
• Authors: Dan Liu, Xue Liu
• Abstract要約: 本稿では,超球面学習と損失ペナルティ項に基づく再学習不要プルーニング手法を提案する。 提案された損失ペナルティ項は、モデルの重みのいくつかをゼロから遠ざけ、残りの重みの値は0に近いように押し付ける。 提案手法は,プルーンド値を平均値に置き換えることで,プルーンドモデルの精度を即座に回復することができる。
• 参考スコア（独自算出の注目度）: 12.90416661059601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing pruning works are resource-intensive, requiring retraining or fine-tuning of the pruned models for accuracy. We propose a retraining-free pruning method based on hyperspherical learning and loss penalty terms. The proposed loss penalty term pushes some of the model weights far from zero, while the rest weight values are pushed near zero and can be safely pruned with no need for retraining and a negligible accuracy drop. In addition, our proposed method can instantly recover the accuracy of a pruned model by replacing the pruned values with their mean value. Our method obtains state-of-the-art results in retraining-free pruning and is evaluated on ResNet-18/50 and MobileNetV2 with ImageNet dataset. One can easily get a 50\% pruned ResNet18 model with a 0.47\% accuracy drop. With fine-tuning, the experiment results show that our method can significantly boost the accuracy of the pruned models compared with existing works. For example, the accuracy of a 70\% pruned (except the first convolutional layer) MobileNetV2 model only drops 3.5\%, much less than the 7\% $\sim$ 10\% accuracy drop with conventional methods.
• Abstract（参考訳）: 既存のプルーニング作業の多くは資源集約的であり、プルーニングされたモデルの再訓練や微調整が必要である。 超球面学習と損失ペナルティ項に基づく再訓練フリーの刈り取り手法を提案する。 提案された損失ペナルティ項はモデル重量のいくつかをゼロから遠ざかるが、残りの重量値は0に近づき、再トレーニングや無視できる精度の低下なしに安全に刈り取ることができる。 また,提案手法では,プルーニングした値を平均値に置き換えることで,プルーニングモデルの精度を即座に回復することができる。 本研究では,ResNet-18/50とMobileNetV2をImageNetデータセットで評価した。 50 %プルーニングされた ResNet18 モデルは 0.47 % の精度低下で容易に取得できる。 微調整により,本手法は既存手法に比べてプルーンモデルの精度を著しく向上させることができることを示した。 例えば、70\%のpruned(第1の畳み込み層を除く)mobilenetv2モデルの精度は3.5\%しか低下せず、従来の方法による7\%$\sim$10\%の精度低下よりもはるかに低い。

関連論文リスト

• Sr-init: An interpretable layer pruning method [11.184351630458265]
  再初期化の探索による新しい層刈り法を提案する。 我々のSR-init法は、再初期化による精度低下が様々な層で異なるという発見に着想を得たものである。 特徴可視化によるSR-initの解釈可能性を実験的に検証した。
  論文  参考訳（メタデータ） (2023-03-14T07:26:55Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off [19.230329532065635]
  スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。 既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。 本研究では,動的スパース学習をスパース接続探索問題として考察する。 実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
  論文  参考訳（メタデータ） (2022-11-30T01:22:25Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• Paoding: Supervised Robustness-preserving Data-free Neural Network Pruning [3.6953655494795776]
  エンフェータフリーコンテキストにおけるニューラルネットワークのプルーニングについて検討する。 従来の攻撃的なワンショット戦略を、プルーニングを進歩的なプロセスとして扱う保守的な戦略に置き換えます。 提案手法は,TextscPaodingというPythonパッケージとして実装され,多様なニューラルネットワークモデルに関する一連の実験により評価された。
  論文  参考訳（メタデータ） (2022-04-02T07:09:17Z)
• Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy [2.538209532048867]
  プルーニングフィルタは一般的な解であるが、既存のプルーニング法ではモデルの精度を効率的に保たない。 本研究では,FLOPを予め定義された目標に還元しつつ,モデル精度を維持するためにどのニューロンを保存すべきかを学習する自動プルーニング手法を提案する。 ResNet-50では52.00%のFLOPが減少し,prun処理後のTop-1精度は47.51%,微細加工後のSOTA精度は76.63%であった。
  論文  参考訳（メタデータ） (2021-11-18T11:29:35Z)
• Post-training deep neural network pruning via layer-wise calibration [70.65691136625514]
  本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。 実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
  論文  参考訳（メタデータ） (2021-04-30T14:20:51Z)
• ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
  本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。 記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。 私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
  論文  参考訳（メタデータ） (2020-07-07T07:56:45Z)
• Movement Pruning: Adaptive Sparsity by Fine-Tuning [115.91907953454034]
  マグニチュードプルーニング(Magnitude pruning)は、純粋教師付き学習におけるモデルサイズの削減に広く用いられている戦略である。 本稿では,単純な一階重み決定法であるムーブメント・プルーニング(Motion pruning)を提案する。 実験により、大きな事前訓練された言語モデルでプルーニングを行うと、運動プルーニングは高分離性体制において顕著な改善を示すことが示された。
  論文  参考訳（メタデータ） (2020-05-15T17:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。