論文の概要: Systolic Arrays and Structured Pruning Co-design for Efficient Transformers in Edge Systems

• arxiv url: http://arxiv.org/abs/2411.10285v1
• Date: Fri, 15 Nov 2024 15:40:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:37:32.398988
• Title: Systolic Arrays and Structured Pruning Co-design for Efficient Transformers in Edge Systems
• Title（参考訳）: エッジシステムにおける効率的な変圧器のシストリックアレイと構造化プルーニング共設計
• Authors: Pedro Palacios, Rafael Medina, Jean-Luc Rouas, Giovanni Ansaloni, David Atienza,
• Abstract要約: 本研究では, 構造化プルーニングとシストリック加速度の相互関係について検討し, プルーニングブロックの大きさとシストリックアレイ寸法とを一致させた。 本稿では,アルゴリズム最適化,システムシミュレーション,ハードウェア設計メトリクスを統合した新しい協調設計フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.50345875862102
• License:
• Abstract: Efficient deployment of resource-intensive transformers on edge devices necessitates cross-stack optimization. We thus study the interrelation between structured pruning and systolic acceleration, matching the size of pruned blocks with the systolic array dimensions. In this setting, computations of pruned weight blocks can be skipped, reducing run-time and energy consumption, but potentially impacting quality of service (QoS). To evaluate the trade-offs between systolic array size and sparsity opportunities, we present a novel co-design framework that integrates algorithmic optimization, system simulation, and hardware design. Targeting speech recognition using transformers as a case study, we analyze how configuration choices across the stack affect performance metrics. Results demonstrate that structured pruning on systems featuring systolic array acceleration can effectively increase performance, while maintaining high QoS levels. Up to 26% system-wide speedups due to structured pruning were measured, with only 1.4% word error rate degradation on the standard Librispeech dataset.
• Abstract（参考訳）: エッジデバイスへのリソース集約型トランスフォーマーの効率的なデプロイは、クロススタック最適化を必要とする。 そこで我々は, 構造化プルーニングとシストリック加速度の相互関係について検討し, プルーニングブロックの大きさとシストリックアレイ寸法とを一致させた。 この設定では、プルーニングされた重量ブロックの計算をスキップすることができ、実行時間とエネルギー消費を削減できるが、サービス品質(QoS)に影響を及ぼす可能性がある。 本稿では, アルゴリズム最適化, システムシミュレーション, ハードウェア設計を統合した新しい協調設計フレームワークを提案する。 変圧器を用いた音声認識をケーススタディとして,スタック全体の構成選択がパフォーマンス指標に与える影響を分析する。 その結果,高QoSレベルを維持しつつ,シストリックアレイ加速度を含むシステム上での構造化プルーニングにより性能を効果的に向上できることが示唆された。 構造化プルーニングによるシステム全体の最大26%のスピードアップが測定され、標準のLibrispeechデータセットでは1.4%のワードエラー率が低下した。

関連論文リスト

• AsCAN: Asymmetric Convolution-Attention Networks for Efficient Recognition and Generation [48.82264764771652]
  本稿では,畳み込みブロックと変圧器ブロックを組み合わせたハイブリッドアーキテクチャAsCANを紹介する。 AsCANは、認識、セグメンテーション、クラス条件画像生成など、さまざまなタスクをサポートしている。 次に、同じアーキテクチャをスケールして、大規模なテキスト・イメージタスクを解決し、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-11-07T18:43:17Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• PRANCE: Joint Token-Optimization and Structural Channel-Pruning for Adaptive ViT Inference [44.77064952091458]
  PRANCEはVision Transformer圧縮フレームワークで、アクティベートされたチャネルを共同で最適化し、入力の特性に基づいてトークンを削減する。 本稿では,ViTの推論過程を逐次決定プロセスとしてモデル化する,新しい「結果と結果」学習機構を提案する。 我々のフレームワークは、プルーニング、マージング、プルーニングマージングといった様々なトークン最適化手法と互換性があることが示されている。
  論文  参考訳（メタデータ） (2024-07-06T09:04:27Z)
• LPViT: Low-Power Semi-structured Pruning for Vision Transformers [42.91130720962956]
  画像解析タスクのための畳み込みニューラルネットワークの代替手段として、ビジョントランスフォーマー(ViT)が登場した。 ViTの重大な欠点の1つは、リソース集約性であり、メモリフットプリント、複雑性、消費電力が増加することである。 我々は,ViTの資源集約的な問題に対処するため,新しいブロック構造プルーニングを導入し,精度とハードウェアアクセラレーションのバランスのとれたトレードオフを提供する。
  論文  参考訳（メタデータ） (2024-07-02T08:58:19Z)
• Accelerating ViT Inference on FPGA through Static and Dynamic Pruning [2.8595179027282907]
  視覚変換器(ViT)は様々なコンピュータビジョンタスクにおいて最先端の精度を実現している。 重みとトークンプルーニングは複雑さを減らすためのよく知られた方法である。 FPGA上でのViTの高速化を同時に行うためのアルゴリズムハードウェア符号を提案する。
  論文  参考訳（メタデータ） (2024-03-21T00:09:04Z)
• Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR [67.63332492134332]
  我々は、デバイス上の制約を満たすのに十分小さく、TPUを高速に推論できる最適化されたコンバータを設計する。 提案するエンコーダは、デバイス上では強力なスタンドアロンエンコーダとして、また高性能なASRパイプラインの第1部として利用することができる。
  論文  参考訳（メタデータ） (2023-03-31T23:30:48Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。