論文の概要: SageAttention2: Efficient Attention with Thorough Outlier Smoothing and Per-thread INT4 Quantization

• arxiv url: http://arxiv.org/abs/2411.10958v2
• Date: Thu, 19 Dec 2024 15:26:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:29:04.754900
• Title: SageAttention2: Efficient Attention with Thorough Outlier Smoothing and Per-thread INT4 Quantization
• Title（参考訳）: SageAttention2:Torough Outlier SmoothingとPer-thread INT4量子化による効率的な注意
• Authors: Jintao Zhang, Haofeng Huang, Pengle Zhang, Jia Wei, Jun Zhu, Jianfei Chen,
• Abstract要約: そこで我々は,より高速な4ビット行列乗算(Matmul)と精度向上手法を併用したSageAttention2を提案する。 実験により、我々のアプローチは様々なモデルにまたがって無視できるエンドツーエンドのメトリクス損失を引き起こすことを確認した。
• 参考スコア（独自算出の注目度）: 22.551095978580147
• License:
• Abstract: Although quantization for linear layers has been widely used, its application to accelerate the attention process remains limited. To further enhance the efficiency of attention computation compared to SageAttention while maintaining precision, we propose SageAttention2, which utilizes significantly faster 4-bit matrix multiplication (Matmul) alongside additional precision-enhancing techniques. First, we propose to quantize matrixes $(Q, K)$ to INT4 in a hardware-friendly thread-level granularity and quantize matrixes $(\widetilde P, V)$ to FP8. Second, we propose a method to smooth $Q$, enhancing the accuracy of INT4 $QK$. Third, we propose to use an FP32 Matmul buffer for $PV$ to enhance the accuracy of FP8 $\widetilde PV$. The operations per second (OPS) of SageAttention2 surpass FlashAttention2 and xformers by about 3x and 5x on RTX4090, respectively. Comprehensive experiments confirm that our approach incurs negligible end-to-end metrics loss across diverse models, including those for large language processing, image generation, and video generation. The codes are available at https://github.com/thu-ml/SageAttention.
• Abstract（参考訳）: 線形層に対する量子化は広く用いられているが、注意過程を加速するための応用は限られている。 そこで我々は,SageAttention2を提案する。SageAttention2は,より高速な4ビット行列乗算(Matmul)と追加の精度向上技術を利用する。 まず、ハードウェアフレンドリーなスレッドレベルの粒度で行列$(Q, K)$をINT4に量子化し、行列$(\widetilde P, V)$をFP8に量子化する。 次に, INT4$QK$の精度を高め, 円滑な$QK$を提案する。 第3に、FP8$\widetilde PV$の精度を高めるために、$PV$にFP32 Matmulバッファを使用することを提案する。 SageAttention2の操作(OPS)は、それぞれ、RTX4090のFlashAttention2とxformersを約3倍、5倍上回る。 包括的実験により,大規模な言語処理や画像生成,ビデオ生成など,多様なモデルにまたがる,無視可能なエンドツーエンドのメトリクス損失が生じていることが確認された。 コードはhttps://github.com/thu-ml/SageAttention.comで入手できる。

関連論文リスト

• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [58.5019443418822]
  拡散モデルは高品質な画像を生成するのに非常に効果的であることが証明されている。 これらのモデルが大きくなるにつれて、メモリが大幅に増加し、レイテンシの低下に悩まされる。 本研究では,その重みとアクティベーションを4ビットに定量化し,拡散モデルの高速化を目指す。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• COMET: Towards Partical W4A4KV4 LLMs Serving [37.30529940231099]
  量子化は、端末デバイスやクラウドデータセンターで大規模言語モデル(LLM)を提供するオーバーヘッドを低減するための圧縮技術である。 本稿では,ほとんどのアクティベーションを4ビットに圧縮し,精度損失を無視できる新しい混合精度量子化アルゴリズム(FMPQ)を提案する。 我々は、最適化されたW4Axカーネルを推論フレームワークCOMETに統合し、人気のあるLLMをサポートするための効率的な管理を提供する。
  論文  参考訳（メタデータ） (2024-10-16T02:16:53Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高めるための新しいポストトレーニング量子化手法であるFlatQuantを提案する。 提案手法では,各線形層に配向した最適アフィン変換を,軽量な対象ランタイムを介して数時間で校正する。 推論レイテンシーのために、FlatQuantは、プリ量子化変換によって引き起こされる遅延を、QuatRotの0.26xから単に$textbf0.07x$に減らし、プリフィルの$textbf2.3x$とデコードのための$textbf1.7x$のスピードアップをもたらす。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• EXAQ: Exponent Aware Quantization For LLMs Acceleration [15.610222058802005]
  ソフトマックス関数への入力に対して最適なクリッピング値を決定するための解析的手法を提案する。 この方法は$ex$と$sum(ex)$の両方の計算を最小限の精度で高速化する。 この超低ビット量子化は、蓄積相において初めて約4倍の加速を可能にする。
  論文  参考訳（メタデータ） (2024-10-04T06:54:30Z)
• SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration [22.551095978580147]
  本稿では,注目のための高効率かつ高精度な量子化手法であるSageAttentionを提案する。 このアプローチでは、さまざまなモデルにわたるエンドツーエンドのメトリクス損失はほとんどありません。
  論文  参考訳（メタデータ） (2024-10-03T10:25:23Z)
• Rotated Runtime Smooth: Training-Free Activation Smoother for accurate INT4 inference [54.2589824716527]
  大規模言語モデルは、その大規模なため、相当な計算とメモリ移動コストを発生させる。 既存のアプローチでは、外れ値と通常の値を2つの行列に分けたり、アクティベーションからウェイトに移行したりしています。 Smooth と Rotation 操作からなる量子化のためのプラグ・アンド・プレイ・アクティベーション・スムーザである Rotated Smooth (RRS) を提案する。 提案手法は,LLaMAおよびQwenファミリーにおける最先端の手法より優れており,IF4推論におけるWikiText-2の難易度は57.33から6.66に向上している。
  論文  参考訳（メタデータ） (2024-09-30T14:59:22Z)
• QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving [52.31791050376249]
  量子化は大規模言語モデル(LLM)の推論を加速させる。 既存のINT4量子化メソッドは、重みや部分和を復号化する場合、実行時の大きなオーバーヘッドに悩まされる。 4ビット重み、8ビットアクティベーション、4ビットKVキャッシュを備えたW4A8KV4量子化アルゴリズムQoQを導入する。 QServeは、Llama-3-8BをA100で1.2倍、L40Sで1.4倍、Qwen-721.5BをA100で2.4倍、L40Sで3.5倍、達成可能な最大機能を改善する。
  論文  参考訳（メタデータ） (2024-05-07T17:59:30Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• Dual Grained Quantization: Efficient Fine-Grained Quantization for LLM [6.85331857224501]
  LLM(Large Language Models)は、メモリ要件と計算能力に関する重要なハードウェア上の課題を提起する。 LLMには2つの主要な量子化スキームがある: 粗粒(textite.g.$ channel-wise)量子化と細粒(textite.g.$ group-wise)量子化である。 我々は、高速な推論速度を確保しつつ優れた性能を維持するLLMのための新しいA8W4量子化であるDual Grained Quantization (DGQ)を紹介する。
  論文  参考訳（メタデータ） (2023-10-07T14:50:28Z)
• Training Transformers with 4-bit Integers [21.861232105539933]
  4ビットへのアクティベーション、ウェイト、勾配の量子化は、ニューラルネットワークのトレーニングを加速することを約束している。 既存の4ビットのトレーニング方法は、現代のハードウェアではサポートされていないカスタムの数値形式を必要とする。 本研究では,INT4演算で実装されたすべての行列乗算を用いた変圧器の訓練手法を提案する。
  論文  参考訳（メタデータ） (2023-06-21T02:45:01Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。