論文の概要: AccLLM: Accelerating Long-Context LLM Inference Via Algorithm-Hardware Co-Design
- arxiv url: http://arxiv.org/abs/2505.03745v1
- Date: Mon, 07 Apr 2025 02:52:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-11 11:26:45.19096
- Title: AccLLM: Accelerating Long-Context LLM Inference Via Algorithm-Hardware Co-Design
- Title（参考訳）: AccLLM:アルゴリズムとハードウェアの共同設計による長期LLM推論の高速化
- Authors: Yanbiao Liang, Huihong Shi, Haikuo Shao, Zhongfeng Wang,
- Abstract要約: 大規模言語モデル(LLM)は自然言語処理(NLP)分野で大きな成功を収めている。
AccLLM は,高速かつ効率的な長文 LLM 推論を実現する包括的アクセラレーションフレームワークである。
我々は、Xilinx Alveo U280 FPGA上でAccLLMを検証し、エネルギー効率が4.07倍、スループットが2.98倍であることを示す。
- 参考スコア（独自算出の注目度）: 3.64182026498686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, large language models (LLMs) have achieved huge success in the natural language processing (NLP) field, driving a growing demand to extend their deployment from the cloud to edge devices. However, deploying LLMs on resource-constrained edge devices poses significant challenges, including (1) intensive computations and huge model sizes, (2) great memory and bandwidth demands introduced by the autoregressive generation process, and (3) limited scalability for handling long sequences. To address these challenges, we propose AccLLM, a comprehensive acceleration framework that enables efficient and fast long-context LLM inference through algorithm and hardware co-design. At the algorithmic level, we integrate (1) pruning, (2) {\Lambda}-shaped attention, and (3) an innovative W2A8KV4 (2-bit weights, 8-bit activations, and 4-bit KV cache) quantization scheme, thus effectively reducing memory and bandwidth requirements while facilitating LLMs' long-sequence generation. At the hardware level, we design a dedicated FPGA-based accelerator with a reconfigurable computing engine to effectively and flexibly accommodate diverse operations arising from our compression algorithm, thereby fully translating the algorithmic innovations into tangible hardware efficiency. We validate AccLLM on the Xilinx Alveo U280 FPGA, demonstrating a 4.07x energy efficiency and a 2.98x throughput compared to the state-of-the-art work FlightLLM.
- Abstract（参考訳）: 近年,大規模言語モデル(LLM)は自然言語処理(NLP)分野で大きな成功を収めており,クラウドからエッジデバイスへのデプロイメントを拡大する需要が高まっている。
しかし,資源制約されたエッジデバイスにLSMをデプロイすることは,(1)集約的な計算と巨大なモデルサイズ,(2)自己回帰生成プロセスによって生じる大きなメモリと帯域幅の要求,(3)長いシーケンスを扱うための限られたスケーラビリティなど,大きな課題を生んでいる。
これらの課題に対処するために,アルゴリズムとハードウェアの共同設計による高速かつ高速なLLM推論を実現する,包括的な加速フレームワークであるAccLLMを提案する。
アルゴリズムレベルでは,(1) プルーニング,(2) {\Lambda} 形状の注意,(3) 革新的な W2A8KV4 (2ビット重み,8ビットアクティベーション,4ビットKVキャッシュ) 量子化スキームを統合し,LLMの長いシーケンス生成を容易にしながら,メモリと帯域幅の要求を効果的に低減する。
ハードウェアレベルでは、圧縮アルゴリズムから生じる多様な操作を効果的かつ柔軟に適応し、アルゴリズムの革新を具体的ハードウェア効率に完全に変換する、再構成可能な計算エンジンを備えたFPGAベースの専用アクセラレータを設計する。
我々は、Xilinx Alveo U280 FPGA上でAccLLMを検証し、最先端のFlightLLMと比較して4.07倍のエネルギー効率と2.98倍のスループットを示した。
関連論文リスト
- Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)により,より効率的な長文処理を実現する。
本稿では,まず,変圧器の非効率性について,ソフトマックス動作のばらつきから生じる注意シンク現象を考察する。
実験により、SWATは8つのベンチマーク上での最先端の線形リカレントアーキテクチャと比較してSOTA性能を達成することが示された。
論文 参考訳（メタデータ） (2025-02-26T05:31:44Z) - Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。
PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。
我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
論文 参考訳（メタデータ） (2024-10-17T11:46:33Z) - Efficient Arbitrary Precision Acceleration for Large Language Models on GPU Tensor Cores [3.6385567224218556]
大規模言語モデル(LLM)は広く応用されているが、効率的な推論では課題に直面している。
本稿では、並列計算を容易にし、対称量子化をサポートする新しいバイポーラ-INTデータフォーマットを提案する。
ビットレベルで分解・復元する任意の精度行列乗算方式を実装し,フレキシブルな精度を実現する。
論文 参考訳（メタデータ） (2024-09-26T14:17:58Z) - Dynamic Range Reduction via Branch-and-Bound [1.533133219129073]
ハードウェアアクセラレーターを強化するための主要な戦略は、算術演算における精度の低下である。
本稿ではQUBO問題における精度向上のための完全原理分岐境界アルゴリズムを提案する。
実験は、実際の量子アニール上でのアルゴリズムの有効性を検証する。
論文 参考訳（メタデータ） (2024-09-17T03:07:56Z) - Designing Efficient LLM Accelerators for Edge Devices [1.4128048241287314]
大きな言語モデル(LLM)は、リソース制約のあるエッジデバイスにデプロイすることで、ネットワーク接続への依存を低減し、よりプライバシーを提供する。
この問題に対処するため、LLM推論のための新しい効率的なエッジアクセラレータを設計することが重要である。
本稿では,効率的なFPGAベースのLCMアクセラレータの設計,統合,展開プロセスの合理化にSECDA手法を用いるSECDA-LLMを提案する。
論文 参考訳（メタデータ） (2024-08-01T11:06:05Z) - ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching [9.884452250478216]
我々は,KVキャッシングによる課題に対処するアルゴリズム-システム共設計ソリューションであるALISAを提案する。
アルゴリズムレベルでは、ALISAはスパースウィンドウ注意(SWA)アルゴリズムを介して新しいトークンを生成する上で最も重要なトークンを優先順位付けする。
システムレベルでは、ALISAは3フェーズのトークンレベルの動的スケジューリングを採用し、キャッシュと再計算の間のトレードオフを最適化する。
論文 参考訳（メタデータ） (2024-03-26T01:46:34Z) - Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture
with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。
MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。
Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
論文 参考訳（メタデータ） (2023-05-30T02:24:03Z) - Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and
Algorithm Co-design [66.39546326221176]
多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。
注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。
本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
論文 参考訳（メタデータ） (2022-09-20T09:28:26Z) - A Length Adaptive Algorithm-Hardware Co-design of Transformer on FPGA
Through Sparse Attention and Dynamic Pipelining [28.336502115532905]
本稿ではトランスフォーマーアクセラレーションのためのコヒーレントシーケンス長適応型アルゴリズム-ハードウェア共設計を提案する。
ハードウェアフレンドリーなスパースアテンション演算子と長編ハードウェアリソーススケジューリングアルゴリズムを開発した。
我々の設計は、非常に小さな精度の損失があり、CPUやGPUの実装と比較して80.2$times$と2.6$times$ Speedupがある。
論文 参考訳（メタデータ） (2022-08-07T05:48:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。