Fugu-MT 論文翻訳(概要): Automatic Attention Pruning: Improving and Automating Model Pruning using Attentions

論文の概要: Automatic Attention Pruning: Improving and Automating Model Pruning using Attentions

arxiv url: http://arxiv.org/abs/2303.08595v1
Date: Tue, 14 Mar 2023 02:47:57 GMT
ステータス: 処理完了
システム内更新日: 2023-03-16 13:52:14.820997
Title: Automatic Attention Pruning: Improving and Automating Model Pruning using Attentions
Title（参考訳）: 自動注意プルーニング:注意を用いたモデルプルーニングの改善と自動化
Authors: Kaiqi Zhao, Animesh Jain, Ming Zhao
Abstract要約: プルーニングは、リソース制約のあるエッジデバイスにそれらをデプロイするために、ディープラーニングモデルを圧縮するための有望なアプローチである。本稿では,適応型,注意型,構造化型プルーニング手法であるAutomatic Attention Pruning (AAP)を提案する。
参考スコア（独自算出の注目度）: 5.445935252764351
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pruning is a promising approach to compress deep learning models in order to deploy them on resource-constrained edge devices. However, many existing pruning solutions are based on unstructured pruning, which yields models that cannot efficiently run on commodity hardware; and they often require users to manually explore and tune the pruning process, which is time-consuming and often leads to sub-optimal results. To address these limitations, this paper presents Automatic Attention Pruning (AAP), an adaptive, attention-based, structured pruning approach to automatically generate small, accurate, and hardware-efficient models that meet user objectives. First, it proposes iterative structured pruning using activation-based attention maps to effectively identify and prune unimportant filters. Then, it proposes adaptive pruning policies for automatically meeting the pruning objectives of accuracy-critical, memory-constrained, and latency-sensitive tasks. A comprehensive evaluation shows that AAP substantially outperforms the state-of-the-art structured pruning works for a variety of model architectures. Our code is at: https://github.com/kaiqi123/Automatic-Attention-Pruning.git.
Abstract（参考訳）: プルーニングは、リソース制約のあるエッジデバイスにそれらをデプロイするために、ディープラーニングモデルを圧縮するための有望なアプローチである。しかし、既存のプルーニングソリューションの多くは、非構造化プルーニングに基づいているため、コモディティなハードウェア上で効率的に実行できないモデルが得られる。これらの制約に対処するために,ユーザの目的を満たす小型で正確でハードウェア効率の高いモデルを自動的に生成する適応型,注目型,構造化されたプルーニング手法であるAutomatic Attention Pruning (AAP)を提案する。まず,アクティベーションに基づくアテンションマップを用いた反復的構造化プルーニングを提案し,重要でないフィルタを効果的に同定する。次に、精度、メモリ制約、レイテンシに敏感なタスクのプルーニング目標を自動的に満たす適応プルーニングポリシを提案する。総合的な評価により、aapは様々なモデルアーキテクチャにおいて最先端の構造化pruning作業を大きく上回っている。私たちのコードは次の通りです。

関連論文リスト

RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
論文参考訳（メタデータ） (2024-11-10T13:35:10Z)
Fluctuation-based Adaptive Structured Pruning for Large Language Models [44.217363567065]
FLAP(FLuctuation-based Adaptive Structured Pruning)は、大規模言語モデルのためのトレーニング不要な構造化プルーニングフレームワークである。ストレージを効果的に削減し、推論速度を向上することで、ハードウェアに優しい。
論文参考訳（メタデータ） (2023-12-19T09:23:48Z)
Structured Pruning for Multi-Task Deep Neural Networks [25.916166808223743]
マルチタスクディープニューラルネットワーク(DNN)モデルは、個々のシングルタスクモデルよりも計算とストレージのメリットがある。マルチタスクモデルにおける構造化プルーニングの有効性について検討する。
論文参考訳（メタデータ） (2023-04-13T22:15:47Z)
PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
我々は PDSketch という新しいドメイン定義言語を提案する。これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
論文参考訳（メタデータ） (2023-03-09T18:54:12Z)
DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文参考訳（メタデータ） (2023-01-30T14:02:33Z)
Iterative Activation-based Structured Pruning [5.445935252764351]
反復的アクティベーションに基づくプルーニングと適応的アクティベーションに基づくプルーニングを提案する。 IAPとAIAPの精度損失は1%に過ぎず、LeNet-5では7.75Xと15.88$X、ResNet-50では1.25Xと1.71Xとなる。
論文参考訳（メタデータ） (2022-01-22T00:48:12Z)
Adaptive Activation-based Structured Pruning [5.445935252764351]
プルーニングは、複雑なディープラーニングモデルを圧縮してリソース制約のあるエッジデバイスにデプロイするための、有望なアプローチである。本稿では, 適応型, アクティベーションベース, 構造化プルーニング手法を用いて, 小型, 高精度, ハードウェア効率のモデルを自動的に, 効率的に生成する手法を提案する。包括的評価により, 提案手法は, 最先端の構造化プルーニング作業よりも大幅に優れることが示された。
論文参考訳（メタデータ） (2022-01-21T22:21:31Z)
Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文参考訳（メタデータ） (2021-06-17T02:40:18Z)
MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
論文参考訳（メタデータ） (2021-05-30T22:00:44Z)
Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
論文参考訳（メタデータ） (2021-05-26T17:01:52Z)
DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文参考訳（メタデータ） (2020-11-04T07:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。