論文の概要: Surrogate Lagrangian Relaxation: A Path To Retrain-free Deep Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2304.04120v1
• Date: Sat, 8 Apr 2023 22:48:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 17:38:38.932388
• Title: Surrogate Lagrangian Relaxation: A Path To Retrain-free Deep Neural Network Pruning
• Title（参考訳）: サーロゲートラグランジュ緩和:リトレーニングフリーディープニューラルネットワークのプルーニングへの道
• Authors: Shanglin Zhou, Mikhail A. Bragin, Lynn Pepin, Deniz Gurevin, Fei Miao, Caiwen Ding
• Abstract要約: ネットワークプルーニングは、ディープニューラルネットワークの計算コストとモデルサイズの削減に広く用いられている手法である。 本稿では,サロゲートラグランジアン緩和に基づく体系的な重み付け最適化手法を開発する。
• 参考スコア（独自算出の注目度）: 9.33753001494221
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Network pruning is a widely used technique to reduce computation cost and model size for deep neural networks. However, the typical three-stage pipeline significantly increases the overall training time. In this paper, we develop a systematic weight-pruning optimization approach based on Surrogate Lagrangian relaxation, which is tailored to overcome difficulties caused by the discrete nature of the weight-pruning problem. We prove that our method ensures fast convergence of the model compression problem, and the convergence of the SLR is accelerated by using quadratic penalties. Model parameters obtained by SLR during the training phase are much closer to their optimal values as compared to those obtained by other state-of-the-art methods. We evaluate our method on image classification tasks using CIFAR-10 and ImageNet with state-of-the-art MLP-Mixer, Swin Transformer, and VGG-16, ResNet-18, ResNet-50 and ResNet-110, MobileNetV2. We also evaluate object detection and segmentation tasks on COCO, KITTI benchmark, and TuSimple lane detection dataset using a variety of models. Experimental results demonstrate that our SLR-based weight-pruning optimization approach achieves a higher compression rate than state-of-the-art methods under the same accuracy requirement and also can achieve higher accuracy under the same compression rate requirement. Under classification tasks, our SLR approach converges to the desired accuracy $3\times$ faster on both of the datasets. Under object detection and segmentation tasks, SLR also converges $2\times$ faster to the desired accuracy. Further, our SLR achieves high model accuracy even at the hard-pruning stage without retraining, which reduces the traditional three-stage pruning into a two-stage process. Given a limited budget of retraining epochs, our approach quickly recovers the model's accuracy.
• Abstract（参考訳）: ネットワークプルーニングは、ディープニューラルネットワークの計算コストとモデルサイズの削減に広く用いられている手法である。 しかし、典型的な3段階のパイプラインはトレーニング時間を大幅に増加させる。 本稿では,重み付き問題の離散的性質に起因する困難を克服するために調整された,サロゲートラグランジュ緩和に基づく体系的重み付き最適化手法を提案する。 本手法はモデル圧縮問題の高速収束を保証し,2次罰則を用いてSLRの収束を加速することを証明する。 訓練期間中にSLRが取得したモデルパラメータは、他の最先端手法と比較すると、その最適値にかなり近い。 我々は,CIFAR-10 と ImageNet を用いた画像分類タスクについて,最先端の MLP-Mixer, Swin Transformer, VGG-16, ResNet-18, ResNet-50, ResNet-110, MobileNetV2 を用いて検討した。 また,COCO,KITTIベンチマーク,TuSimpleレーン検出データセット上で,様々なモデルを用いてオブジェクト検出とセグメント化タスクを評価する。 実験により,SLRに基づく重み付け最適化手法は,同じ精度条件下での最先端手法よりも高い圧縮率を達成するとともに,同じ圧縮速度要求条件下で高い圧縮精度が得られることを示した。 分類タスクでは、私たちのSLRアプローチは、両方のデータセットで所望の精度$3\times$高速に収束します。 オブジェクト検出とセグメンテーションタスクでは、SLRは所望の精度に2\times$速く収束する。 さらに,SLRは再トレーニングを伴わないハードプルーニング段階においても高いモデル精度を実現し,従来の3段階プルーニングを2段階に短縮する。 再学習の予算が限られているため、我々の手法はモデルの精度を迅速に回復する。

関連論文リスト

• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness [11.35810118757863]
  クリーンかつ逆摂動画像上でのSOTA(State-of-the-art)性能を実現する既存のモデルは、FiLM(Feature-wise linear modulation)層を条件とした畳み込み操作に依存している。 既存のFiLMベースの条件付けの代わりに、付加層を必要としない独特な重み付き学習を行うFLOATアルゴリズムを提案する。 特に、重みテンソルにスケールドノイズを加え、クリーンな性能と対向的な性能のトレードオフを可能にする。
  論文  参考訳（メタデータ） (2022-03-28T19:25:36Z)
• FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
  本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。 我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。 従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
  論文  参考訳（メタデータ） (2021-07-07T13:39:08Z)
• Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation [2.691929135895278]
  サロゲート・ラグランジアン・リラクゼーション(SLR)に基づく体系的な軽量化最適化手法を開発。 SLRは、同じ精度で最先端技術よりも高い圧縮率を達成する。 再学習の予算が限られているため,本手法はモデル精度を迅速に回復する。
  論文  参考訳（メタデータ） (2020-12-18T07:17:30Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。