論文の概要: Automatic Attention Pruning: Improving and Automating Model Pruning
using Attentions
- arxiv url: http://arxiv.org/abs/2303.08595v1
- Date: Tue, 14 Mar 2023 02:47:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 13:52:14.820997
- Title: Automatic Attention Pruning: Improving and Automating Model Pruning
using Attentions
- Title（参考訳）: 自動注意プルーニング:注意を用いたモデルプルーニングの改善と自動化
- Authors: Kaiqi Zhao, Animesh Jain, Ming Zhao
- Abstract要約: プルーニングは、リソース制約のあるエッジデバイスにそれらをデプロイするために、ディープラーニングモデルを圧縮するための有望なアプローチである。
本稿では,適応型,注意型,構造化型プルーニング手法であるAutomatic Attention Pruning (AAP)を提案する。
- 参考スコア（独自算出の注目度）: 5.445935252764351
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pruning is a promising approach to compress deep learning models in order to
deploy them on resource-constrained edge devices. However, many existing
pruning solutions are based on unstructured pruning, which yields models that
cannot efficiently run on commodity hardware; and they often require users to
manually explore and tune the pruning process, which is time-consuming and
often leads to sub-optimal results. To address these limitations, this paper
presents Automatic Attention Pruning (AAP), an adaptive, attention-based,
structured pruning approach to automatically generate small, accurate, and
hardware-efficient models that meet user objectives. First, it proposes
iterative structured pruning using activation-based attention maps to
effectively identify and prune unimportant filters. Then, it proposes adaptive
pruning policies for automatically meeting the pruning objectives of
accuracy-critical, memory-constrained, and latency-sensitive tasks. A
comprehensive evaluation shows that AAP substantially outperforms the
state-of-the-art structured pruning works for a variety of model architectures.
Our code is at: https://github.com/kaiqi123/Automatic-Attention-Pruning.git.
- Abstract（参考訳）: プルーニングは、リソース制約のあるエッジデバイスにそれらをデプロイするために、ディープラーニングモデルを圧縮するための有望なアプローチである。
しかし、既存のプルーニングソリューションの多くは、非構造化プルーニングに基づいているため、コモディティなハードウェア上で効率的に実行できないモデルが得られる。
これらの制約に対処するために,ユーザの目的を満たす小型で正確でハードウェア効率の高いモデルを自動的に生成する適応型,注目型,構造化されたプルーニング手法であるAutomatic Attention Pruning (AAP)を提案する。
まず,アクティベーションに基づくアテンションマップを用いた反復的構造化プルーニングを提案し,重要でないフィルタを効果的に同定する。
次に、精度、メモリ制約、レイテンシに敏感なタスクのプルーニング目標を自動的に満たす適応プルーニングポリシを提案する。
総合的な評価により、aapは様々なモデルアーキテクチャにおいて最先端の構造化pruning作業を大きく上回っている。
私たちのコードは次の通りです。
関連論文リスト
- Fluctuation-based Adaptive Structured Pruning for Large Language Models [44.217363567065]
FLAP(FLuctuation-based Adaptive Structured Pruning)は、大規模言語モデルのためのトレーニング不要な構造化プルーニングフレームワークである。
ストレージを効果的に削減し、推論速度を向上することで、ハードウェアに優しい。
論文 参考訳（メタデータ） (2023-12-19T09:23:48Z) - CRISP: Hybrid Structured Sparsity for Class-aware Model Pruning [4.775684973625185]
機械学習パイプラインは、幅広いクラスにわたる正確性を達成するために、普遍的なモデルを訓練することが多い。
この格差は、ユーザー固有のクラスにフォーカスするようにモデルを調整することで、計算効率を高める機会を提供する。
細粒度N:M構造と粗粒度ブロックの粒度を組み合わせた新しい刈り込みフレームワークCRISPを提案する。
我々のプルーニング戦略は、勾配に基づくクラス対応サリエンシスコアによって導かれ、ユーザ固有のクラスに不可欠なウェイトを維持できる。
論文 参考訳（メタデータ） (2023-11-24T04:16:32Z) - Structured Pruning for Multi-Task Deep Neural Networks [25.916166808223743]
マルチタスクディープニューラルネットワーク(DNN)モデルは、個々のシングルタスクモデルよりも計算とストレージのメリットがある。
マルチタスクモデルにおける構造化プルーニングの有効性について検討する。
論文 参考訳（メタデータ） (2023-04-13T22:15:47Z) - PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
我々は PDSketch という新しいドメイン定義言語を提案する。
これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。
移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
論文 参考訳（メタデータ） (2023-03-09T18:54:12Z) - DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。
本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。
本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文 参考訳（メタデータ） (2023-01-30T14:02:33Z) - Iterative Activation-based Structured Pruning [5.445935252764351]
反復的アクティベーションに基づくプルーニングと適応的アクティベーションに基づくプルーニングを提案する。
IAPとAIAPの精度損失は1%に過ぎず、LeNet-5では7.75Xと15.88$X、ResNet-50では1.25Xと1.71Xとなる。
論文 参考訳（メタデータ） (2022-01-22T00:48:12Z) - Adaptive Activation-based Structured Pruning [5.445935252764351]
プルーニングは、複雑なディープラーニングモデルを圧縮してリソース制約のあるエッジデバイスにデプロイするための、有望なアプローチである。
本稿では, 適応型, アクティベーションベース, 構造化プルーニング手法を用いて, 小型, 高精度, ハードウェア効率のモデルを自動的に, 効率的に生成する手法を提案する。
包括的評価により, 提案手法は, 最先端の構造化プルーニング作業よりも大幅に優れることが示された。
論文 参考訳（メタデータ） (2022-01-21T22:21:31Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳（メタデータ） (2021-06-17T02:40:18Z) - MLPruning: A Multilevel Structured Pruning Framework for
Transformer-based Models [78.45898846056303]
プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。
我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
論文 参考訳（メタデータ） (2021-05-30T22:00:44Z) - Dynamic Probabilistic Pruning: A general framework for
hardware-constrained pruning at different granularities [80.06422693778141]
異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。
このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。
DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
論文 参考訳（メタデータ） (2021-05-26T17:01:52Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳（メタデータ） (2020-11-04T07:43:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。