論文の概要: Variance-Based Pruning for Accelerating and Compressing Trained Networks

• arxiv url: http://arxiv.org/abs/2507.12988v1
• Date: Thu, 17 Jul 2025 10:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.45936
• Title: Variance-Based Pruning for Accelerating and Compressing Trained Networks
• Title（参考訳）: 訓練ネットワークの高速化と圧縮のための変数ベースプルーニング
• Authors: Uranik Berisha, Jens Mehnert, Alexandru Paul Condurache,
• Abstract要約: 分散ベースプルーニングは、ネットワークを効率的に圧縮するためのシンプルで構造化されたワンショットプルーニング技術である。 ImageNet-1k の認識タスクでは,DeiT-Base をプルーニングした直後に元の性能の70%以上を保っていることを示す。
• 参考スコア（独自算出の注目度）: 46.498278084317704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Increasingly expensive training of ever larger models such as Vision Transfomers motivate reusing the vast library of already trained state-of-the-art networks. However, their latency, high computational costs and memory demands pose significant challenges for deployment, especially on resource-constrained hardware. While structured pruning methods can reduce these factors, they often require costly retraining, sometimes for up to hundreds of epochs, or even training from scratch to recover the lost accuracy resulting from the structural modifications. Maintaining the provided performance of trained models after structured pruning and thereby avoiding extensive retraining remains a challenge. To solve this, we introduce Variance-Based Pruning, a simple and structured one-shot pruning technique for efficiently compressing networks, with minimal finetuning. Our approach first gathers activation statistics, which are used to select neurons for pruning. Simultaneously the mean activations are integrated back into the model to preserve a high degree of performance. On ImageNet-1k recognition tasks, we demonstrate that directly after pruning DeiT-Base retains over 70% of its original performance and requires only 10 epochs of fine-tuning to regain 99% of the original accuracy while simultaneously reducing MACs by 35% and model size by 36%, thus speeding up the model by 1.44x.
• Abstract（参考訳）: Vision Transfomersのような大型モデルの高価なトレーニングは、すでに訓練済みの最先端ネットワークの巨大なライブラリを再利用する動機となっている。 しかしながら、そのレイテンシ、高い計算コスト、メモリ要求は、特にリソース制約のあるハードウェアにおいて、デプロイメントに重大な課題をもたらす。 構造化プルーニング法はこれらの要因を軽減できるが、しばしばコストのかかる再訓練が必要であり、時には数百のエポック、あるいは構造的な修正によって失われた精度を回復するためにゼロからトレーニングすることさえ必要である。 構造化プルーニング後の訓練モデルの供給された性能を維持し、それによって広範囲な再訓練を避けることは、依然として課題である。 そこで本研究では,ネットワークを効率よく圧縮するためのシンプルで構造化されたワンショットプルーニング技術である分散ベースプルーニングを,最小限の微調整で導入する。 提案手法はまず, プルーニング用ニューロンの選択に使用される活性化統計を収集する。 同時に、平均的なアクティベーションは、高いパフォーマンスを維持するためにモデルに統合される。 ImageNet-1k の認識タスクでは,DeiT-Base のプルーニング後直接に元の性能の70%以上を保持し,元の精度の 99% を回復するためには微調整を10回しか必要とせず,MAC を 35% 削減し,モデルサイズを 36% 削減し,モデルの速度を 1.44 倍に向上させることを示した。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity [0.0]
  ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。 そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。 当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
  論文  参考訳（メタデータ） (2023-09-12T22:28:53Z)
• Getting More Juice Out of Your Data: Hard Pair Refinement Enhances Visual-Language Models Without Extra Data [122.282521548393]
  コントラスト言語-画像事前学習 (CLIP) は, クロスモーダルな画像-テキスト表現学習の標準となっている。 HELIPは、CLIPモデルを改善するためのコスト効率のよい戦略であり、継続的なトレーニングにおいて既存のデータセット内の挑戦的なテキストイメージペアを利用することで、CLIPモデルを改善する。
  論文  参考訳（メタデータ） (2023-05-09T07:00:17Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks [0.9712140341805068]
  刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。 本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
  論文  参考訳（メタデータ） (2021-08-31T10:17:36Z)
• Fast Certified Robust Training via Better Initialization and Shorter Warmup [95.81628508228623]
  我々は,新しいIPPと原理正規化器を提案し,認証境界を安定化させる。 バッチ正規化(BN)は、認定トレーニングのための最高のパフォーマンスのネットワークを構築するための重要なアーキテクチャ要素です。
  論文  参考訳（メタデータ） (2021-03-31T17:58:58Z)
• Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation [2.691929135895278]
  サロゲート・ラグランジアン・リラクゼーション(SLR)に基づく体系的な軽量化最適化手法を開発。 SLRは、同じ精度で最先端技術よりも高い圧縮率を達成する。 再学習の予算が限られているため,本手法はモデル精度を迅速に回復する。
  論文  参考訳（メタデータ） (2020-12-18T07:17:30Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks [6.269700080380206]
  深層ネットワークの重みを少なくするプルーニング技術が提案されている。 本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。 その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
  論文  参考訳（メタデータ） (2020-03-05T18:05:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。