論文の概要: SWAT: Scalable and Efficient Window Attention-based Transformers Acceleration on FPGAs

• arxiv url: http://arxiv.org/abs/2405.17025v1
• Date: Mon, 27 May 2024 10:25:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:01:56.412579
• Title: SWAT: Scalable and Efficient Window Attention-based Transformers Acceleration on FPGAs
• Title（参考訳）: SWAT:FPGA上でのウィンドウアテンションベースのトランスフォーマーの高速化
• Authors: Zhenyu Bai, Pranav Dangi, Huize Li, Tulika Mitra,
• Abstract要約: スライディングウィンドウベースの静的スパースアテンションは、入力トークンのアテンションスコープを制限することで問題を緩和する。 本稿では,データフローを意識したFPGAベースのアクセラレーション設計であるSWATを提案する。
• 参考スコア（独自算出の注目度）: 3.302913401404089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficiently supporting long context length is crucial for Transformer models. The quadratic complexity of the self-attention computation plagues traditional Transformers. Sliding window-based static sparse attention mitigates the problem by limiting the attention scope of the input tokens, reducing the theoretical complexity from quadratic to linear. Although the sparsity induced by window attention is highly structured, it does not align perfectly with the microarchitecture of the conventional accelerators, leading to suboptimal implementation. In response, we propose a dataflow-aware FPGA-based accelerator design, SWAT, that efficiently leverages the sparsity to achieve scalable performance for long input. The proposed microarchitecture is based on a design that maximizes data reuse by using a combination of row-wise dataflow, kernel fusion optimization, and an input-stationary design considering the distributed memory and computation resources of FPGA. Consequently, it achieves up to 22$\times$ and 5.7$\times$ improvement in latency and energy efficiency compared to the baseline FPGA-based accelerator and 15$\times$ energy efficiency compared to GPU-based solution.
• Abstract（参考訳）: Transformerモデルでは,コンテキスト長の効率的なサポートが不可欠だ。 自己注意計算の二次的な複雑さは、従来のトランスフォーマーを悩ませている。 スライディングウィンドウベースの静的スパースアテンションは、入力トークンの注意範囲を制限することで問題を緩和し、理論的複雑さを2次から線形に減らす。 窓の注意によって引き起こされる空間は高度に構造化されているが、従来の加速器の微細構造と完全に一致しないため、準最適実装に繋がる。 そこで本研究では,データフロー対応FPGAベースのアクセラレーション設計であるSWATを提案する。 提案するマイクロアーキテクチャは,FPGAの分散メモリと計算資源を考慮した行ワイドデータフロー,カーネル融合最適化,入力定常設計を組み合わせたデータ再利用を最大化する設計に基づいている。 これにより、ベースラインFPGAベースのアクセラレータと比較してレイテンシとエネルギー効率が最大22$\times$と5.7$\times$改善され、GPUベースのソリューションに比べて15$\times$エネルギー効率が向上する。

関連論文リスト

• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• LL-GNN: Low Latency Graph Neural Networks on FPGAs for High Energy Physics [45.666822327616046]
  本研究は,粒子検出器のための低グラフニューラルネットワーク(LL-GNN)設計のための新しい再構成可能なアーキテクチャを提案する。 LL-GNNの設計は、洗練されたアルゴリズムが実験データを効率的に処理できるようにすることで、次世代のトリガーシステムを進化させる。
  論文  参考訳（メタデータ） (2022-09-28T12:55:35Z)
• Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design [66.39546326221176]
  多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。 注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。 本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:28:26Z)
• A Length Adaptive Algorithm-Hardware Co-design of Transformer on FPGA Through Sparse Attention and Dynamic Pipelining [28.336502115532905]
  本稿ではトランスフォーマーアクセラレーションのためのコヒーレントシーケンス長適応型アルゴリズム-ハードウェア共設計を提案する。 ハードウェアフレンドリーなスパースアテンション演算子と長編ハードウェアリソーススケジューリングアルゴリズムを開発した。 我々の設計は、非常に小さな精度の損失があり、CPUやGPUの実装と比較して80.2$times$と2.6$times$ Speedupがある。
  論文  参考訳（メタデータ） (2022-08-07T05:48:38Z)
• Easy and Efficient Transformer : Scalable Inference Solution For large NLP mode [14.321889138798072]
  本稿では,超大規模事前学習モデル最適化手法を提案する。 推論エンジンとして Easy and Efficient Transformer (EET) が提案されている。 EETは、コンテキストの長さに応じて1.5-15倍のスピードアップを達成します。
  論文  参考訳（メタデータ） (2021-04-26T11:00:56Z)
• NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function Combinational Logic [4.119948826527649]
  フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータは、グラフィックス処理ユニット/中央処理ユニットベースのプラットフォームを置き換える深刻な競争相手として注目を集めています。 本稿では,資源とエネルギー効率,超低遅延FPGAベースニューラルネットワークアクセラレータ構築のためのフレームワークであるNullaNet Tinyを提案する。
  論文  参考訳（メタデータ） (2021-04-07T00:16:39Z)
• EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
  BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
  論文  参考訳（メタデータ） (2020-11-28T19:21:47Z)
• FTRANS: Energy-Efficient Acceleration of Transformers using FPGA [11.032972017827248]
  本稿では,変換器をベースとした大規模言語表現のための高速化フレームワークFtransを提案する。 本フレームワークは,NLPモデルのモデルサイズを最大16倍に削減する。 FPGA設計は、CPUと比較して27.07倍、81倍の性能向上とエネルギー効率の向上を実現し、GPUと比較して最大8.80倍のエネルギー効率向上を実現している。
  論文  参考訳（メタデータ） (2020-07-16T18:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。