論文の概要: TeLLMe: An Energy-Efficient Ternary LLM Accelerator for Prefilling and Decoding on Edge FPGAs

• arxiv url: http://arxiv.org/abs/2504.16266v2
• Date: Thu, 24 Apr 2025 18:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.928387
• Title: TeLLMe: An Energy-Efficient Ternary LLM Accelerator for Prefilling and Decoding on Edge FPGAs
• Title（参考訳）: TeLLMe:エッジFPGAのプリフィルとデコードのためのエネルギー効率の良い第三次LCM加速器
• Authors: Ye Qiao, Zhiheng Chen, Yifan Zhang, Yian Wang, Sitao Huang,
• Abstract要約: TeLLMeは、低消費電力FPGAのための最初の3次LLMアクセラレータである。 1.58ビットの重みと8ビットのアクティベーションを使用するプリフィルと自動回帰デコードの両方をサポートする。 7Wの電力予算の下では、TeLLMeは最大9トークン/秒のスループットを1,024トークンのコンテキストで提供する。
• 参考スコア（独自算出の注目度）: 5.889337608109388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying large language models (LLMs) on edge platforms is challenged by their high computational and memory demands. Although recent low-bit quantization methods (e.g., BitNet, DeepSeek) compress weights to as little as 1.58 bits with minimal accuracy loss, edge deployment is still constrained by limited on-chip resources, power budgets, and the often-neglected latency of the prefill phase. We present TeLLMe, the first ternary LLM accelerator for low-power FPGAs (e.g., AMD KV260) that fully supports both prefill and autoregressive decoding using 1.58-bit weights and 8-bit activations. Our contributions include: (1) a table-lookup matrix engine for ternary matmul that merges grouped activations with online precomputation to minimize resource use; (2) a fused, bandwidth-efficient attention module featuring a reversed reordering scheme to accelerate prefill; and (3) a tightly integrated normalization and quantization--dequantization unit optimized for ultra-low-bit inference. Under a 7W power budget, TeLLMe delivers up to 9 tokens/s throughput over 1,024-token contexts and prefill latencies of 0.55--1.15 s for 64--128 token prompts, marking a significant energy-efficiency advance and establishing a new edge FPGA benchmark for generative AI.
• Abstract（参考訳）: エッジプラットフォームに大規模言語モデル(LLM)をデプロイすることは、高い計算量とメモリ要求によって困難である。 最近の低ビット量子化法(例えば、BitNet、DeepSeek)は、最小の精度で1.58ビットまで重みを圧縮するが、エッジデプロイメントは、オンチップリソースの制限、電力予算、プレフィルフェーズの遅延によって制限されている。 我々は,1.58ビット重みと8ビットアクティベーションを用いたプリフィルと自己回帰デコードの両方を完全にサポートする,低消費電力FPGA(例えばAMD KV260)のための最初の3次LLMアクセラレータTeLLMeを提案する。 コントリビューションには,(1) リソース使用を最小化するためにグループ化されたアクティベーションとオンラインプリコンピュテーションをマージする3次マトリクスエンジン,(2) プリフィルを高速化するための逆順序付けスキームを備えた融合した帯域幅効率のアテンションモジュール,(3) 超低ビット推論に最適化された密に統合された正規化と量子化-量子化ユニットがある。 7Wの電力予算の下で、TeLLMeは最大9トークン/秒のスループットを1,024トークンのコンテキストで提供し、64--128トークンプロンプトに対して0.55--1.15秒のレイテンシをプリフィルする。

関連論文リスト

• Runtime Tunable Tsetlin Machines for Edge Inference on eFPGAs [0.2294388534633318]
  eFPGAはエッジ機械学習(ML)アプリケーションのハードウェアアクセラレータを低消費電力で設計することができる。 限られたeFPGA論理とメモリは計算能力とモデルサイズを著しく制限した。 提案するeFPGAアクセラレータは、リソース使用量の最小化と、スループットに対するオンフィールドリカバリの柔軟性の実現に重点を置いている。
  論文  参考訳（メタデータ） (2025-02-10T12:49:22Z)
• A Runtime-Adaptive Transformer Neural Network Accelerator on FPGAs [0.0]
  ADAPTORは、FPGA上のトランスフォーマーエンコーダとデコーダの高密度行列計算のためのランタイム適応型アクセラレータである。 FPGAプラットフォームにリソースを分散するための効率的な行列タイリングが組み込まれている。 最新のFPGAベースのアクセラレータと比べて1.7～2.25$times$のスピードアップを実現している。
  論文  参考訳（メタデータ） (2024-11-27T08:53:19Z)
• Designing Efficient LLM Accelerators for Edge Devices [1.4128048241287314]
  大きな言語モデル(LLM)は、リソース制約のあるエッジデバイスにデプロイすることで、ネットワーク接続への依存を低減し、よりプライバシーを提供する。 この問題に対処するため、LLM推論のための新しい効率的なエッジアクセラレータを設計することが重要である。 本稿では,効率的なFPGAベースのLCMアクセラレータの設計,統合,展開プロセスの合理化にSECDA手法を用いるSECDA-LLMを提案する。
  論文  参考訳（メタデータ） (2024-08-01T11:06:05Z)
• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)
• A Cost-Efficient FPGA Implementation of Tiny Transformer Model using Neural ODE [0.8403582577557918]
  Transformerは画像認識タスクに採用され、トレーニングコストと計算複雑性に悩まされているが、CNNやRNNよりも優れていた。 本稿では,ResNetの代わりにNeural ODEをバックボーンとして使用する軽量ハイブリッドモデルを提案する。 提案モデルは,エッジコンピューティングのための最小サイズのFPGAデバイス上に展開される。
  論文  参考訳（メタデータ） (2024-01-05T09:32:39Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• RedMule: A Mixed-Precision Matrix-Matrix Operation Engine for Flexible and Energy-Efficient On-Chip Linear Algebra and TinyML Training Acceleration [15.869673535117032]
  現在のトレーニングアルゴリズムは、精度とダイナミックレンジの要求を満たすために浮動小数点行列演算に依存している。 RedMulEは、多精度浮動小数点一般行列演算(GEMM-Ops)加速のために考案された、低消費電力の特殊アクセラレータである。 RedMulE は FP16 と FP8 で 58.5 GFLOPS と 117 GFLOPS をそれぞれ達成し、計算要素の配列を99.4% 利用している。
  論文  参考訳（メタデータ） (2023-01-10T11:07:16Z)
• LL-GNN: Low Latency Graph Neural Networks on FPGAs for High Energy Physics [45.666822327616046]
  本研究は,粒子検出器のための低グラフニューラルネットワーク(LL-GNN)設計のための新しい再構成可能なアーキテクチャを提案する。 LL-GNNの設計は、洗練されたアルゴリズムが実験データを効率的に処理できるようにすることで、次世代のトリガーシステムを進化させる。
  論文  参考訳（メタデータ） (2022-09-28T12:55:35Z)
• EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
  BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
  論文  参考訳（メタデータ） (2020-11-28T19:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。