論文の概要: An Investigation of FP8 Across Accelerators for LLM Inference

• arxiv url: http://arxiv.org/abs/2502.01070v2
• Date: Thu, 06 Feb 2025 04:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 10:50:01.014114
• Title: An Investigation of FP8 Across Accelerators for LLM Inference
• Title（参考訳）: LLM推論のためのFP8アクロス加速器の検討
• Authors: Jiwoo Kim, Joonhyung Lee, Gunho Park, Byeongwook Kim, Se Jung Kwon, Dongsoo Lee, Youngjoo Lee,
• Abstract要約: NVIDIA H100とIntel Gaudi 2.0という2つのAIアクセラレータ上でのFP8計算の総合的な分析を初めて提供する。 その結果,Gaudi 2はFP8を活用することにより,推論時のスループットと電力効率の向上を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 7.910301381209274
• License:
• Abstract: The introduction of 8-bit floating-point (FP8) computation units in modern AI accelerators has generated significant interest in FP8-based large language model (LLM) inference. Unlike 16-bit floating-point formats, FP8 in deep learning requires a shared scaling factor. Additionally, while E4M3 and E5M2 are well-defined at the individual value level, their scaling and accumulation methods remain unspecified and vary across hardware and software implementations. As a result, FP8 behaves more like a quantization format than a standard numeric representation. In this work, we provide the first comprehensive analysis of FP8 computation and acceleration on two AI accelerators: the NVIDIA H100 and Intel Gaudi 2. Our findings highlight that the Gaudi 2, by leveraging FP8, achieves higher throughput-to-power efficiency during LLM inference, offering valuable insights into the practical implications of FP8 adoption for datacenter-scale LLM serving.
• Abstract（参考訳）: 現代のAIアクセラレーターにおける8ビット浮動小数点演算ユニット(FP8)の導入は、FP8ベースの大規模言語モデル(LLM)推論に大きな関心を惹き付けた。 16ビット浮動小数点フォーマットとは異なり、ディープラーニングではFP8は共有スケーリングファクタを必要とする。 さらに、E4M3とE5M2は個々の価値レベルでよく定義されているが、スケーリングと蓄積の方法は未定であり、ハードウェアやソフトウェアの実装によって異なる。 その結果、FP8は標準的な数値表現よりも量子化形式のように振る舞う。 本研究では、NVIDIA H100とIntel Gaudi 2の2つのAIアクセラレータ上で、FP8計算とアクセラレーションに関する最初の包括的な分析を提供する。 この結果から,FP8 を利用したGaudi 2 は LLM の推論において高いスループットと電力効率を実現し,データセンター規模の LLM サービスにおける FP8 導入の実践的意義について貴重な知見を提供することができた。

関連論文リスト

• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  我々は,学術ベンチマークや実世界のタスクにまたがる一般的な量子化形式を評価する。 W4A16は同期デプロイメントと中間層アーキテクチャの非同期デプロイメントに最適なコスト効率を提供する。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• Scaling FP8 training to trillion-token LLMs [26.195547788434908]
  最大2兆トークンのデータセット上でFP8精度を使用して、大規模な言語モデルをトレーニングします。 我々は,FP8トレーニングにおいて,より短い期間で観察できない重大な障害を発見した。 Smooth-SwiGLUは機能変更なしに安定したFP8トレーニングを実現する新しい修正である。
  論文  参考訳（メタデータ） (2024-09-19T07:15:58Z)
• FP8-LM: Training FP8 Large Language Models [47.17804713425323]
  本稿では,大規模言語モデルの学習のためのFP8自動混合精度フレームワークを提案する。 実験の結果,H100 GPUプラットフォーム上でのGPT-175Bモデルのトレーニングにおいて,我々のFP8混合精度トレーニングフレームワークは,実際のメモリ使用量の39%削減だけでなく,広く採用されているBF16フレームワークよりも75%高速に動作したことがわかった。
  論文  参考訳（メタデータ） (2023-10-27T17:59:51Z)
• ZeroQuant-FP: A Leap Forward in LLMs Post-Training W4A8 Quantization Using Floating-Point Formats [25.543571445739936]
  本研究では,大規模言語モデル(LLM)における浮動小数点量子化(FP)の実現可能性について検討する。 LLMでは、FP8のアクティベーションは整数(INT8)を一貫して上回り、性能エッジは10億を超えるパラメータを持つモデルではより顕著になる。 重量量子化では、FP4はINT4に匹敵する性能を示し、H100のようなFP対応ハードウェアへの展開を単純化している。
  論文  参考訳（メタデータ） (2023-07-19T06:58:03Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• FP8 versus INT8 for efficient deep learning inference [14.98281493168929]
  デバイス上での効率的な推論のために,FP8フォーマットとINTフォーマットの両方のパフォーマンスを比較した。 FP フォーマットは INT フォーマットよりも,専用ハードウェアの計算効率が 50-180% 程度低いことを示す。 提案したFP8フォーマットはトレーニングに適しているが,推測の結果はFP8の専用実装を保証していない。
  論文  参考訳（メタデータ） (2023-03-31T10:29:17Z)
• FP8 Formats for Deep Learning [49.54015320992368]
  2つのエンコーディングからなる8ビット浮動小数点(FP8)バイナリインターチェンジフォーマットを提案する。 E4M3のダイナミックレンジは無限大を表現せず、NaNに対して1つのマティーサビットパターンしか持たないことによって拡張される。 16ビットのトレーニングセッションで達成した結果の質を効果的にマッチングし,FP8フォーマットが様々な画像および言語タスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-09-12T17:39:55Z)
• LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
  トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。 175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
  論文  参考訳（メタデータ） (2022-08-15T17:08:50Z)
• Rethinking Floating Point Overheads for Mixed Precision DNN Accelerators [2.6487352458568507]
  異なる整数および浮動小数点(FP)精度をサポートする混合精度畳み込みユニットアーキテクチャを提案する。 FP計算を整数ベースのアーキテクチャに統合し、FP演算サポートによるオーバーヘッドを評価する方法を紹介します。
  論文  参考訳（メタデータ） (2021-01-27T23:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。