論文の概要: RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration
- arxiv url: http://arxiv.org/abs/2411.06463v1
- Date: Sun, 10 Nov 2024 13:35:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:11:48.397079
- Title: RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration
- Title（参考訳）: RL-Pruner:CNN圧縮・高速化のための強化学習を用いた構造化プルーニング
- Authors: Boyao Wang, Volodymyr Kindratenko,
- Abstract要約: RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。
RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Convolutional Neural Networks (CNNs) have demonstrated exceptional performance in recent years. Compressing these models not only reduces storage requirements, making deployment to edge devices feasible, but also accelerates inference, thereby reducing latency and computational costs. Structured pruning, which removes filters at the layer level, directly modifies the model architecture. This approach achieves a more compact architecture while maintaining target accuracy, ensuring that the compressed model retains good compatibility and hardware efficiency. Our method is based on a key observation: filters in different layers of a neural network have varying importance to the model's performance. When the number of filters to prune is fixed, the optimal pruning distribution across different layers is uneven to minimize performance loss. Layers that are more sensitive to pruning should account for a smaller proportion of the pruning distribution. To leverage this insight, we propose RL-Pruner, which uses reinforcement learning to learn the optimal pruning distribution. RL-Pruner can automatically extract dependencies between filters in the input model and perform pruning, without requiring model-specific pruning implementations. We conducted experiments on models such as GoogleNet, ResNet, and MobileNet, comparing our approach to other structured pruning methods to validate its effectiveness. Our code is available at https://github.com/Beryex/RLPruner-CNN.
- Abstract（参考訳）: 近年,畳み込みニューラルネットワーク (CNN) は異常な性能を示した。
これらのモデルを圧縮することで、ストレージ要件を減らし、エッジデバイスへのデプロイメントを可能にするだけでなく、推論を加速し、レイテンシと計算コストを削減できる。
階層レベルのフィルタを除去する構造化プルーニングは、モデルアーキテクチャを直接変更する。
このアプローチは、目標精度を維持しつつ、よりコンパクトなアーキテクチャを実現し、圧縮されたモデルが良好な互換性とハードウェア効率を維持することを保証する。
ニューラルネットワークの異なる層におけるフィルタは、モデルの性能に対して異なる重要性を持つ。
プルーンのフィルタ数が固定された場合、異なる層にまたがる最適プルーニング分布は、性能損失を最小限に抑えるために不均一である。
プルーニングに敏感な層は、プルーニング分布の小さい割合を占めるべきである。
この知見を活用するために,強化学習を用いて最適プルーニング分布を学習するRL-Prunerを提案する。
RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
我々は、GoogleNet、ResNet、MobileNetなどのモデルで実験を行い、我々のアプローチを他の構造化プルーニング手法と比較し、その有効性を検証した。
私たちのコードはhttps://github.com/Beryex/RLPruner-CNNで公開されています。
関連論文リスト
- MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。
我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。
MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
論文 参考訳（メタデータ） (2024-08-24T05:54:47Z) - Effective Layer Pruning Through Similarity Metric Perspective [0.0]
ディープニューラルネットワークは、認知タスクを解決する機械学習において、主要なパラダイムとなっている。
これらのモデルから構造を抽出することは、ネットワークの複雑さを減らすための簡単なアプローチである。
層プルーニングは、しばしば高い圧縮速度でネットワーク予測能力(すなわち精度)を損なう。
この研究は、プルーニング手法によって追求されるすべての基礎特性を満たす効果的なレイヤ・プルーニング戦略を導入する。
論文 参考訳（メタデータ） (2024-05-27T11:54:51Z) - CRISP: Hybrid Structured Sparsity for Class-aware Model Pruning [4.775684973625185]
機械学習パイプラインは、幅広いクラスにわたる正確性を達成するために、普遍的なモデルを訓練することが多い。
この格差は、ユーザー固有のクラスにフォーカスするようにモデルを調整することで、計算効率を高める機会を提供する。
細粒度N:M構造と粗粒度ブロックの粒度を組み合わせた新しい刈り込みフレームワークCRISPを提案する。
我々のプルーニング戦略は、勾配に基づくクラス対応サリエンシスコアによって導かれ、ユーザ固有のクラスに不可欠なウェイトを維持できる。
論文 参考訳（メタデータ） (2023-11-24T04:16:32Z) - Structured Pruning for Multi-Task Deep Neural Networks [25.916166808223743]
マルチタスクディープニューラルネットワーク(DNN)モデルは、個々のシングルタスクモデルよりも計算とストレージのメリットがある。
マルチタスクモデルにおける構造化プルーニングの有効性について検討する。
論文 参考訳（メタデータ） (2023-04-13T22:15:47Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Cut Inner Layers: A Structured Pruning Strategy for Efficient U-Net GANs [2.8360662552057323]
本研究は, 条件付きGANのU-Netジェネレータ上での構造化プルーニングを行う。
層ごとの感度解析により、ボトルネックに近い最内側層に不要なフィルタが多数存在し、実質的に切断可能であることを確認した。
論文 参考訳（メタデータ） (2022-06-29T13:55:36Z) - Interspace Pruning: Using Adaptive Filter Representations to Improve
Training of Sparse CNNs [69.3939291118954]
非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している
標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。
既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
論文 参考訳（メタデータ） (2022-03-15T11:50:45Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳（メタデータ） (2021-10-21T06:26:31Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。