論文の概要: ICE-Pruning: An Iterative Cost-Efficient Pruning Pipeline for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2505.07411v1
• Date: Mon, 12 May 2025 10:07:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.344695
• Title: ICE-Pruning: An Iterative Cost-Efficient Pruning Pipeline for Deep Neural Networks
• Title（参考訳）: ICE-Pruning: ディープニューラルネットワークのための反復的コスト効率の高いPruning Pipeline
• Authors: Wenhao Hu, Paul Henderson, José Cano,
• Abstract要約: ICE-Pruningはディープニューラルネットワーク(DNN)のための反復的なプルーニングパイプラインである 微調整の全体的なコストを削減し、刈り取りに要する時間を著しく短縮する。 ICEプルーニングは、プルーニングを最大9.61倍加速させることができる。
• 参考スコア（独自算出の注目度）: 5.107302670511175
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pruning is a widely used method for compressing Deep Neural Networks (DNNs), where less relevant parameters are removed from a DNN model to reduce its size. However, removing parameters reduces model accuracy, so pruning is typically combined with fine-tuning, and sometimes other operations such as rewinding weights, to recover accuracy. A common approach is to repeatedly prune and then fine-tune, with increasing amounts of model parameters being removed in each step. While straightforward to implement, pruning pipelines that follow this approach are computationally expensive due to the need for repeated fine-tuning. In this paper we propose ICE-Pruning, an iterative pruning pipeline for DNNs that significantly decreases the time required for pruning by reducing the overall cost of fine-tuning, while maintaining a similar accuracy to existing pruning pipelines. ICE-Pruning is based on three main components: i) an automatic mechanism to determine after which pruning steps fine-tuning should be performed; ii) a freezing strategy for faster fine-tuning in each pruning step; and iii) a custom pruning-aware learning rate scheduler to further improve the accuracy of each pruning step and reduce the overall time consumption. We also propose an efficient auto-tuning stage for the hyperparameters (e.g., freezing percentage) introduced by the three components. We evaluate ICE-Pruning on several DNN models and datasets, showing that it can accelerate pruning by up to 9.61x. Code is available at https://github.com/gicLAB/ICE-Pruning
• Abstract（参考訳）: プルーニングはディープニューラルネットワーク(DNN)を圧縮するのに広く用いられる手法であり、DNNモデルから関連性の高いパラメータを除去してサイズを小さくする。 しかし、パラメータの除去はモデルの精度を低下させるため、プルーニングは通常細調整と組み合わせられ、時には重みの巻き戻しなどの他の操作によって精度を回復する。 一般的なアプローチは、各ステップでモデルパラメータの量が増えて、繰り返しプルーし、微調整することである。 実装は簡単だが、繰り返し微調整を必要とするため、このアプローチに従うパイプラインのプルーニングは計算コストがかかる。 本稿では,DNNの繰り返し刈り込みパイプラインであるICE-Pruningを提案する。これは,既存の刈り込みパイプラインと同等の精度を維持しつつ,微調整の全体的なコストを低減し,刈り込みに要する時間を著しく削減する。 ICE-Pruningは3つの主要なコンポーネントに基づいている。 一 刈り取り工程の微調整の実施後の自動決定機構 二 各刈り工程において、より高速な微調整のための凍結戦略 三 各プルーニングステップの精度をさらに向上し、全体的な時間消費を低減させる、独自のプルーニング対応学習率スケジューラ。 また、3つのコンポーネントが導入したハイパーパラメータ(例えば、凍結率)の効率的な自動チューニングステージを提案する。 我々は、いくつかのDNNモデルとデータセット上でICE-Pruningを評価し、最大9.61倍のpruningを高速化できることを示す。 コードはhttps://github.com/gicLAB/ICE-Pruningで入手できる。

関連論文リスト

• DRIVE: Dual Gradient-Based Rapid Iterative Pruning [2.209921757303168]
  現代のディープニューラルネットワーク(DNN)は、数百万のパラメータで構成され、トレーニングと推論中にハイパフォーマンスコンピューティングを必要とする。 学習後推論の合理化に焦点をあてた従来の刈り込み手法は, 訓練前の刈り込みによって早期に疎水性を活用する試みが近年行われている。 創発に固有のランダム性に対処するために,初期エポックに対する濃密なトレーニングを活用するDual Gradient-Based Rapid Iterative Pruning (DRIVE)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T20:44:28Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)
• Combined Pruning for Nested Cross-Validation to Accelerate Automated Hyperparameter Optimization for Embedded Feature Selection in High-Dimensional Data with Very Small Sample Sizes [3.51500332842165]
  非常に小さなサンプルサイズを持つ高次元データの無関係な特徴を排除するための木に基づく組込み特徴選択は、モデル構築プロセスに最適化されたハイパーパラメータを必要とする。 標準的なプルーニングアルゴリズムは、性能評価基準のばらつきが大きいため、計算が遅れたり、計算を中断するリスクを負わなければならない。 我々は、最先端の半減期プルーナーの使用に適応し、ドメインまたは事前知識に基づく2つの新しいプルーニング戦略と組み合わせる。 提案した3層プルーナーの組み合わせは、将来有望な試行を継続すると同時に、現状の使用と比較して、最大81,3%まで製造されるモデルの数を削減している。
  論文  参考訳（メタデータ） (2022-02-01T17:42:37Z)
• Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks [0.9712140341805068]
  刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。 本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
  論文  参考訳（メタデータ） (2021-08-31T10:17:36Z)
• One-Cycle Pruning: Pruning ConvNets Under a Tight Training Budget [0.0]
  ニューラルネットワークにおけるスパーシリティの導入は、パフォーマンスをほぼ無傷に保ちながら、その複雑さを軽減する効率的な方法である。 多くの場合、スパシティは3段階のパイプラインを使用して導入されます。1)モデルを収束させるためにトレーニングし、2)いくつかの基準に従ってモデルをプーンし、3)プルーニングされたモデルを微調整してパフォーマンスを回復します。 本研究では,パイプラインの最初のステップを廃止し,他の2ステップを1回のプルーニングトレーニングサイクルで組み合わせることを提案する。
  論文  参考訳（メタデータ） (2021-07-05T15:27:07Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。