論文の概要: Design and Implementation of an FPGA-Based Tiled Matrix Multiplication Accelerator for Transformer Self-Attention on the Xilinx KV260 SoM

• arxiv url: http://arxiv.org/abs/2503.16731v2
• Date: Mon, 24 Mar 2025 02:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 11:09:56.902694
• Title: Design and Implementation of an FPGA-Based Tiled Matrix Multiplication Accelerator for Transformer Self-Attention on the Xilinx KV260 SoM
• Title（参考訳）: Xilinx KV260 SoM上での変圧器自己アテンションのためのFPGAベースタイド行列乗算器の設計と実装
• Authors: Richie Li, Sicheng Chen,
• Abstract要約: トランスフォーマーベースの大規模言語モデルは、注意層とフィードフォワード層のための行列乗法に大きく依存している。 資源制約付き Xilinx KV260 FPGA 上で,高度に最適化されたタイル行列乗算アクセラレータを提案する。 我々の設計では、永続的なオンチップストレージ、最大データ再利用のための堅牢な2レベルタイリング戦略、およびシストリックのような非ローリング計算エンジンを活用している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Transformer-based large language models (LLMs) rely heavily on intensive matrix multiplications for attention and feed-forward layers, with the Q, K, and V linear projections in the Multi-Head Self-Attention (MHA) module constituting a decisive performance bottleneck. In this work, we introduce a highly optimized tiled matrix multiplication accelerator on a resource-constrained Xilinx KV260 FPGA that not only addresses this challenge but sets a new standard for efficiency and performance. Our design exploits persistent on-chip storage, a robust two-level tiling strategy for maximal data reuse, and a systolic-like unrolled compute engine that together deliver unparalleled speed and energy efficiency. Integrated with DistilBERT for Q, K, and V projections, our accelerator achieves an unequivocal 7x speedup over ARM CPU implementations (PyTorch) and an extraordinary 200x improvement over naive NumPy, reaching a throughput of up to 3.1~GFLOPs for matrix multiplications on (64,768) x (768,3072) matrices while operating at a conservative 100 MHz. These results decisively demonstrate the transformative potential of FPGA-based acceleration for critical Transformer operations, paving the way for scalable and energy-efficient deep learning inference on edge devices.
• Abstract（参考訳）: 変換器をベースとした大規模言語モデル (LLM) は注目層やフィードフォワード層への集中的行列乗法に大きく依存しており、Q, K, V の線形射影はMHA(Multi-Head Self-Attention)モジュールにおいて決定的な性能ボトルネックを構成する。 本研究では,資源制約付き Xilinx KV260 FPGA 上に高度に最適化されたタイル行列乗算器を導入する。 我々の設計では、永続的なオンチップストレージ、最大データ再利用のための堅牢な2レベルタイリング戦略、および非並列な速度とエネルギー効率を両立するシストリックな非ローリング計算エンジンを活用している。 Q,K,Vプロジェクション用のDistilBERTと統合し,ARM CPU実装(PyTorch)に対する不均質な7xスピードアップを実現し,NumPyよりも200倍向上し,(64,768) x (768,3072) の行列乗算に対して最大3.1〜GFLOPsのスループットを達成した。 これらの結果は、FPGAベースのアクセラレーションによる重要なトランスフォーマー演算の変換ポテンシャルを決定的に証明し、エッジデバイス上でのスケーラブルでエネルギー効率の高いディープラーニング推論への道を開いた。

関連論文リスト

• FAMOUS: Flexible Accelerator for the Attention Mechanism of Transformer on UltraScale+ FPGAs [0.0]
  Transformer Neural Network(TNN)は、自然言語処理(NLP)、機械翻訳、コンピュータビジョン(CV)など、幅広いアプリケーション領域に応用されている。 本稿では、フィールドプログラマブルゲートアレイ(FPGA)上でのTNNの重み付きマルチヘッドアテンション計算のためのフレキシブルハードウェアアクセラレータである textitFamous を提案する。 並列性を改善し、レイテンシを低減するために、処理要素とオンチップメモリの高利用に最適化されている。
  論文  参考訳（メタデータ） (2024-09-21T05:25:46Z)
• Fast, Scalable, Energy-Efficient Non-element-wise Matrix Multiplication on FPGA [10.630802853096462]
  現代のニューラルネットワーク(NN)アーキテクチャは、膨大な数の乗算演算に依存している。 本稿ではFPGA上の高スループット,スケーラブル,エネルギー効率の非要素的行列乗算ユニットを提案する。 AMUを使用すると、FPGAベースの量子ニューラルネットワーク(QNN)アクセラレーターの最先端ソリューションよりも最大9倍高いスループットと112倍高いエネルギー効率が得られる。
  論文  参考訳（メタデータ） (2024-07-02T15:28:10Z)
• Optimizing Foundation Model Inference on a Many-tiny-core Open-source RISC-V Platform [13.326025546527784]
  本稿では,オープンソースのマルチティニーコアRISC-Vプラットフォーム上で,トランスフォーマーモデルの最初のエンドツーエンド推論結果を示す。 エンコーダのみのモデルでは、最も最適化された実装とベースラインバージョンの間の最大12.8倍のスピードアップを示す。 デコーダのみのトポロジでは、非自己回帰(NAR)モードで16.1倍、オート回帰(AR)モードで最大35.6倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-05-29T17:16:59Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization [78.18328503396057]
  コンピュータビジョンタスクにおいて、視覚変換器(ViT)は大幅に精度が向上している。 本研究は,提案した混合スキーム量子化に基づくFPGA対応自動ViT加速フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-10T05:54:46Z)
• VAQF: Fully Automatic Software-hardware Co-design Framework for Low-bit Vision Transformer [121.85581713299918]
  量子化ビジョントランス(ViT)のためのFPGAプラットフォーム上で推論アクセラレータを構築するフレームワークVAQFを提案する。 モデル構造と所望のフレームレートから、VAQFはアクティベーションに必要な量子化精度を自動的に出力する。 FPGA上でのViTアクセラレーションに量子化が組み込まれたのはこれが初めてである。
  論文  参考訳（メタデータ） (2022-01-17T20:27:52Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Direct Spatial Implementation of Sparse Matrix Multipliers for Reservoir Computing [0.0]
  貯水池の計算システムは、非常に大きくてスパースな固定行列の繰り返し乗算に依存している。 これらの固定行列の直接実装は、計算で実行される作業を最小化する。 ビットシリアル行列乗算器の構造を提示し、正則符号付き桁表現を用いて論理利用をさらに削減する。
  論文  参考訳（メタデータ） (2021-01-21T23:16:22Z)
• FTRANS: Energy-Efficient Acceleration of Transformers using FPGA [11.032972017827248]
  本稿では,変換器をベースとした大規模言語表現のための高速化フレームワークFtransを提案する。 本フレームワークは,NLPモデルのモデルサイズを最大16倍に削減する。 FPGA設計は、CPUと比較して27.07倍、81倍の性能向上とエネルギー効率の向上を実現し、GPUと比較して最大8.80倍のエネルギー効率向上を実現している。
  論文  参考訳（メタデータ） (2020-07-16T18:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。