論文の概要: Pushing the Limits of BFP on Narrow Precision LLM Inference

• arxiv url: http://arxiv.org/abs/2502.00026v1
• Date: Tue, 21 Jan 2025 17:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-09 05:47:10.604808
• Title: Pushing the Limits of BFP on Narrow Precision LLM Inference
• Title（参考訳）: Narrow Precision LLM推論におけるBFPの限界を押し上げる
• Authors: Hui Wang, Yuan Cheng, Xiaomeng Han, Zhengpeng Zhao, Dawei Yang, Zhe Jiang,
• Abstract要約: ブロック浮動小数点(BFP)は線形演算の高速化に有効であることが証明されている。 しかし、注意のような非線形操作は、ますますパフォーマンスのボトルネックとなる。 ハードウェア・ソフトウェア共同設計フレームワーク(DB-Attn)を紹介する。
• 参考スコア（独自算出の注目度）: 18.53712175951463
• License:
• Abstract: The substantial computational and memory demands of Large Language Models (LLMs) hinder their deployment. Block Floating Point (BFP) has proven effective in accelerating linear operations, a cornerstone of LLM workloads. However, as sequence lengths grow, nonlinear operations, such as Attention, increasingly become performance bottlenecks due to their quadratic computational complexity. These nonlinear operations are predominantly executed using inefficient floating-point formats, which renders the system challenging to optimize software efficiency and hardware overhead. In this paper, we delve into the limitations and potential of applying BFP to nonlinear operations. Given our findings, we introduce a hardware-software co-design framework (DB-Attn), including: (i) DBFP, an advanced BFP version, overcomes nonlinear operation challenges with a pivot-focus strategy for diverse data and an adaptive grouping strategy for flexible exponent sharing. (ii) DH-LUT, a novel lookup table algorithm dedicated to accelerating nonlinear operations with DBFP format. (iii) An RTL-level DBFP-based engine is implemented to support DB-Attn, applicable to FPGA and ASIC. Results show that DB-Attn provides significant performance improvements with negligible accuracy loss, achieving 74% GPU speedup on Softmax of LLaMA and 10x low overhead performance improvement over SOTA designs.
• Abstract（参考訳）: LLM(Large Language Models)の相当な計算とメモリ要求は、その展開を妨げる。 ブロック浮動小数点(BFP)はLLMワークロードの基盤である線形演算の高速化に有効であることが証明されている。 しかし、列の長さが長くなるにつれて、注意のような非線形演算は2次計算の複雑さのためにパフォーマンスのボトルネックとなる。 これらの非線形操作は、ソフトウェア効率とハードウェアオーバーヘッドの最適化が困難である非効率な浮動小数点法を用いて主に実行される。 本稿では,非線形動作にBFPを適用することの限界と可能性について検討する。 この結果を踏まえ、ハードウェア・ソフトウェア共同設計フレームワーク(DB-Attn)を紹介した。 i) 高度なBFPバージョンであるDBFPは、多様なデータに対するピボットフォーカス戦略とフレキシブルな指数共有のための適応的なグループ化戦略により、非線形動作の課題を克服する。 (II) DH-LUTはDBFPフォーマットで非線形操作を高速化する新しいルックアップテーブルアルゴリズムである。 3) RTLレベルのDBFPベースのエンジンは,FPGAおよびASICに適用可能なDB-Attnをサポートするように実装されている。 その結果、DB-Attnは、LLaMAのSoftmax上で74%のGPUスピードアップを実現し、SOTA設計よりも10倍低いオーバーヘッド性能向上を実現した。

関連論文リスト

• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• Anda: Unlocking Efficient LLM Inference with a Variable-Length Grouped Activation Data Format [5.527166214435735]
  量子化大言語モデル(LLM)は低ビット整数(INT)重みを利用し、浮動小数点(FP)アクティベーションを保持する。 これにより、コストのかかるメモリアクセスと計算に関連するFPアクティベーションに、エネルギとレイテンシのボトルネックがシフトする。 既存のLCMアクセラレータは、FP計算とデータ移動を協調的に最適化する可能性を見越して、計算最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-11-24T20:59:39Z)
• PEANO-ViT: Power-Efficient Approximations of Non-Linearities in Vision Transformers [4.523939613157408]
  Vision Transformers (ViTs) は、FPGA(Field-Programmable Gate Arrays) 用に設計されている。 ViTの非線形関数は、複雑な数学的操作のため、効率的なハードウェア実装に重大な障害をもたらす。 PEANO-ViTはレイヤ正規化層の実装を合理化するための新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-21T03:54:10Z)
• SWAT: Scalable and Efficient Window Attention-based Transformers Acceleration on FPGAs [3.302913401404089]
  スライディングウィンドウベースの静的スパースアテンションは、入力トークンのアテンションスコープを制限することで問題を緩和する。 本稿では,データフローを意識したFPGAベースのアクセラレーション設計であるSWATを提案する。
  論文  参考訳（メタデータ） (2024-05-27T10:25:08Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• FireFly: A High-Throughput Hardware Accelerator for Spiking Neural Networks with Efficient DSP and Memory Optimization [6.966706170499345]
  スパイキングニューラルネットワーク(SNN)は、強い生物学的解釈性と高エネルギー効率のために広く利用されている。 フィールドプログラマブルゲートアレイ(FPGA)のためのほとんどのSNNハードウェア実装は、演算やメモリ効率の要求を満たすことができない。 発火ニューロンから発生するスパイクをオンザフライ(FireFly)で処理できるFPGAアクセラレータを提案する。
  論文  参考訳（メタデータ） (2023-01-05T04:28:07Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• FlexBlock: A Flexible DNN Training Accelerator with Multi-Mode Block Floating Point Support [8.596477111386083]
  本稿では,複数のBFP精度を活用してトレーニングを高速化するアルゴリズムに基づく。 我々はFlexBlockと呼ばれる3つの異なるBFP精度モードをサポートするフレキシブルDNNトレーニングアクセラレータを開発した。 CIFAR, ImageNet, WMT14データセット上でよく知られたDNNを用いてFlexBlockアーキテクチャの有効性を評価する。
  論文  参考訳（メタデータ） (2022-03-13T15:05:34Z)
• JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
  追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。 GP-UCBに類似した条件下では, 応答が得られないことを示す。 実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-02T05:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。