論文の概要: Adaptive Activation-based Structured Pruning

• arxiv url: http://arxiv.org/abs/2201.10520v1
• Date: Fri, 21 Jan 2022 22:21:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 14:06:09.511317
• Title: Adaptive Activation-based Structured Pruning
• Title（参考訳）: アダプティブアクティベーションに基づく構造化プルーニング
• Authors: Kaiqi Zhao, Animesh Jain, Ming Zhao
• Abstract要約: プルーニングは、複雑なディープラーニングモデルを圧縮してリソース制約のあるエッジデバイスにデプロイするための、有望なアプローチである。 本稿では, 適応型, アクティベーションベース, 構造化プルーニング手法を用いて, 小型, 高精度, ハードウェア効率のモデルを自動的に, 効率的に生成する手法を提案する。 包括的評価により, 提案手法は, 最先端の構造化プルーニング作業よりも大幅に優れることが示された。
• 参考スコア（独自算出の注目度）: 5.445935252764351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning is a promising approach to compress complex deep learning models in order to deploy them on resource-constrained edge devices. However, many existing pruning solutions are based on unstructured pruning, which yield models that cannot efficiently run on commodity hardware, and require users to manually explore and tune the pruning process, which is time consuming and often leads to sub-optimal results. To address these limitations, this paper presents an adaptive, activation-based, structured pruning approach to automatically and efficiently generate small, accurate, and hardware-efficient models that meet user requirements. First, it proposes iterative structured pruning using activation-based attention feature maps to effectively identify and prune unimportant filters. Then, it proposes adaptive pruning policies for automatically meeting the pruning objectives of accuracy-critical, memory-constrained, and latency-sensitive tasks. A comprehensive evaluation shows that the proposed method can substantially outperform the state-of-the-art structured pruning works on CIFAR-10 and ImageNet datasets. For example, on ResNet-56 with CIFAR-10, without any accuracy drop, our method achieves the largest parameter reduction (79.11%), outperforming the related works by 22.81% to 66.07%, and the largest FLOPs reduction (70.13%), outperforming the related works by 14.13% to 26.53%.
• Abstract（参考訳）: プルーニングは、複雑なディープラーニングモデルを圧縮してリソース制約のあるエッジデバイスにデプロイするための、有望なアプローチである。 しかし、既存のプルーニングソリューションの多くは、非構造化プルーニング(非構造化プルーニング)に基づいており、コモディティなハードウェア上で効率的に実行できないモデルを生成し、ユーザが手動でプルーニングプロセスを探索し調整する必要がある。 これらの制約に対処するため,ユーザ要求を満たす小型・高精度・ハードウェア効率のモデルを自動的に,効率的に生成する適応型,アクティベーションベースの構造化プルーニング手法を提案する。 まず,アクティベーションに基づく注目機能マップを用いた反復的構造化プルーニングを提案し,重要でないフィルタを効果的に同定する。 次に、精度、メモリ制約、レイテンシに敏感なタスクのプルーニング目標を自動的に満たす適応プルーニングポリシを提案する。 総合評価の結果,提案手法はCIFAR-10およびImageNetデータセット上での最先端の構造化プルーニング作業を大幅に上回っていることがわかった。 例えば、resnet-56 と cifar-10 では、精度の低下なしに最大パラメータ削減 (79.11%) を達成し、関連する作品の22.81% から 66.07% に、最大フロップス削減 (70.13%) を14.13% から 26.53% に上回った。

関連論文リスト

• ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models [14.310720048047136]
  ALPSは,演算子分割法と事前条件付き勾配共役型後処理法を用いて,プルーニング問題に対処する最適化ベースのフレームワークである。 提案手法はベクトル化とGPU並列性を有効利用しながら収束を加速し理論的に保証する新しい手法を取り入れている。 OPT-30Bモデルでは70%の間隔で、ALPSはWikiTextデータセットにおけるテストの難易度を13%削減し、既存の手法と比較してゼロショットベンチマークのパフォーマンスを19%改善した。
  論文  参考訳（メタデータ） (2024-06-12T02:57:41Z)
• Efficient Pruning of Large Language Model with Adaptive Estimation Fusion [45.423001839959156]
  本稿では,各サブ構造の重要性を適応的にモデル化する簡易かつ効率的な手法を提案する。 複雑な構造と多層構造の結果に基づいて、粗粒度と細粒度の推定を適応的に融合させることができる。 その結果,LLaMa-7B,Vicuna-7B,Baichuan-7B,Bloom-7b1の平均精度は1.1%,1.02%,2.0%,1.2%向上した。
  論文  参考訳（メタデータ） (2024-03-16T04:12:50Z)
• Automatic Attention Pruning: Improving and Automating Model Pruning using Attentions [5.445935252764351]
  プルーニングは、リソース制約のあるエッジデバイスにそれらをデプロイするために、ディープラーニングモデルを圧縮するための有望なアプローチである。 本稿では,適応型,注意型,構造化型プルーニング手法であるAutomatic Attention Pruning (AAP)を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:47:57Z)
• Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
  スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。 スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。 本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-08T21:24:20Z)
• Attentive Fine-Grained Structured Sparsity for Image Restoration [63.35887911506264]
  N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。 そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T12:44:55Z)
• Iterative Activation-based Structured Pruning [5.445935252764351]
  反復的アクティベーションに基づくプルーニングと適応的アクティベーションに基づくプルーニングを提案する。 IAPとAIAPの精度損失は1%に過ぎず、LeNet-5では7.75Xと15.88$X、ResNet-50では1.25Xと1.71Xとなる。
  論文  参考訳（メタデータ） (2022-01-22T00:48:12Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。