論文の概要: DuQuant: Distributing Outliers via Dual Transformation Makes Stronger Quantized LLMs

• arxiv url: http://arxiv.org/abs/2406.01721v3
• Date: Fri, 01 Nov 2024 17:12:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:32:36.846758
• Title: DuQuant: Distributing Outliers via Dual Transformation Makes Stronger Quantized LLMs
• Title（参考訳）: DuQuant: デュアルトランスフォーメーションによるアウトリーチの配布により、より強力な量子LLMが実現
• Authors: Haokun Lin, Haobo Xu, Yichen Wu, Jingzhi Cui, Yingtao Zhang, Linzhan Mou, Linqi Song, Zhenan Sun, Ying Wei,
• Abstract要約: 大規模言語モデル(LLM)の量子化は、特に外部アクティベーションの存在により、大きな課題に直面している。 伝統的なアプローチは、比較的大きな大きさの全てのトークンをまたいだ活性化であるノーマル・アウトリエに主に対応している。 DuQuantは回転変換と置換変換を利用して、大量および正常な外れ値の両方をより効果的に緩和する新しいアプローチである。
• 参考スコア（独自算出の注目度）: 40.48697728884967
• License:
• Abstract: Quantization of large language models (LLMs) faces significant challenges, particularly due to the presence of outlier activations that impede efficient low-bit representation. Traditional approaches predominantly address Normal Outliers, which are activations across all tokens with relatively large magnitudes. However, these methods struggle with smoothing Massive Outliers that display significantly larger values, which leads to significant performance degradation in low-bit quantization. In this paper, we introduce DuQuant, a novel approach that utilizes rotation and permutation transformations to more effectively mitigate both massive and normal outliers. First, DuQuant starts by constructing the rotation matrix, using specific outlier dimensions as prior knowledge, to redistribute outliers to adjacent channels by block-wise rotation. Second, We further employ a zigzag permutation to balance the distribution of outliers across blocks, thereby reducing block-wise variance. A subsequent rotation further smooths the activation landscape, enhancing model performance. DuQuant simplifies the quantization process and excels in managing outliers, outperforming the state-of-the-art baselines across various sizes and types of LLMs on multiple tasks, even with 4-bit weight-activation quantization. Our code is available at https://github.com/Hsu1023/DuQuant.
• Abstract（参考訳）: 大規模言語モデル(LLM)の量子化は、特に効率的な低ビット表現を妨げる外部アクティベーションの存在により、大きな課題に直面している。 伝統的なアプローチは、比較的大きな大きさの全てのトークンをまたいだ活性化であるノーマル・アウトリエに主に対応している。 しかし、これらの手法は、非常に大きな値を示す大域外積の平滑化に苦しむため、低ビット量子化では性能が著しく低下する。 本稿では, 回転変換と置換変換を利用して, 大規模および正常な外れ値の両方を効果的に緩和する新しいアプローチであるDuQuantを紹介する。 まず、DuQuantは、特定の外周次元を事前知識として使用して回転行列を構築し、ブロックワイズ回転により隣接チャネルへの外周を再分配することから始める。 第2に,ブロック間における外乱の分布のバランスをとるためにジグザグの変分を用いることにより,ブロック幅のばらつきを低減させる。 その後の回転はアクティベーションランドスケープをさらに円滑にし、モデル性能を高める。 DuQuantは、量子化プロセスを単純化し、アウトリーチの管理に優れ、4ビットの重みアクティベーション量子化であっても、複数のタスクにおいて、さまざまなサイズやタイプのLLMに対して最先端のベースラインよりも優れています。 私たちのコードはhttps://github.com/Hsu1023/DuQuant.comから入手可能です。

関連論文リスト

• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [58.5019443418822]
  拡散モデルは高品質な画像を生成するのに非常に効果的であることが証明されている。 これらのモデルが大きくなるにつれて、メモリが大幅に増加し、レイテンシの低下に悩まされる。 本研究では,その重みとアクティベーションを4ビットに定量化し,拡散モデルの高速化を目指す。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• Rotated Runtime Smooth: Training-Free Activation Smoother for accurate INT4 inference [54.2589824716527]
  大規模言語モデルは、その大規模なため、相当な計算とメモリ移動コストを発生させる。 既存のアプローチでは、外れ値と通常の値を2つの行列に分けたり、アクティベーションからウェイトに移行したりしています。 Smooth と Rotation 操作からなる量子化のためのプラグ・アンド・プレイ・アクティベーション・スムーザである Rotated Smooth (RRS) を提案する。 提案手法は,LLaMAおよびQwenファミリーにおける最先端の手法より優れており,IF4推論におけるWikiText-2の難易度は57.33から6.66に向上している。
  論文  参考訳（メタデータ） (2024-09-30T14:59:22Z)
• OutlierTune: Efficient Channel-Wise Quantization for Large Language Models [24.645237670811476]
  OutlierTuneは、大規模言語モデルのアクティベーションのための効率的なチャネルごとのポストトレーニング量子化手法である。 提案するフレームワークは実装が容易で、ハードウェア効率が良く、推論中に計算オーバーヘッドがほとんど発生しない。
  論文  参考訳（メタデータ） (2024-06-27T02:02:26Z)
• I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models [20.070306492164427]
  学習後の量子化は、大きな言語モデルの推論を加速する強力な技術として機能する。 既存の作業は、推論中にかなりの数の浮動小数点(FP)操作を必要とする。 この制限は、エッジとクラウドデバイス上の大きな言語モデルのデプロイを妨げる。 大規模言語モデルに適した整数のみの完全量子化PTQフレームワークであるI-LLMを提案する。
  論文  参考訳（メタデータ） (2024-05-28T05:56:11Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Rethinking Channel Dimensions to Isolate Outliers for Low-bit Weight Quantization of Large Language Models [7.485068491216164]
  大規模言語モデル(LLM)は、最近、様々なタスクで顕著な成功を収めた。 重みのみの量子化は有望なアプローチであるが、大振幅のアクティベーションアウトレイアのため、サブ-4ビットの量子化は依然として課題である。 本稿では,各入力チャネル内の量子化グループを生成する簡易かつ効果的な手法である,IC単位の量子化を提案する。
  論文  参考訳（メタデータ） (2023-09-27T09:48:31Z)
• Quantizable Transformers: Removing Outliers by Helping Attention Heads Do Nothing [18.673619610942197]
  現代のトランスモデルは、アクティベーションにおいて強い外れ値を学ぶ傾向があるため、定量化が難しい。 我々は、強い外れ値が「ノーオップ」または単に残像の部分的な更新を学習しようとする注意ヘッドの非常に具体的な行動と関連していることを示す。 注意機構に対する2つの簡単な(非依存的な)修正(クリップされたソフトマックスとゲートアテンション)を提案する。
  論文  参考訳（メタデータ） (2023-06-22T14:39:04Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models [57.933500846742234]
  最近の研究は、構造化された外れ値が量子化性能の重要なボトルネックであることを認識している。 本稿では,Gamma Migration と Token-Wise Clipping の2つのコンポーネントを含む外部抑制フレームワークを提案する。 このフレームワークは、アウトレイラを効果的に抑制し、プラグアンドプレイモードで使用することができる。
  論文  参考訳（メタデータ） (2022-09-27T12:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。