論文の概要: Channel-Wise Mixed-Precision Quantization for Large Language Models

• arxiv url: http://arxiv.org/abs/2410.13056v1
• Date: Wed, 16 Oct 2024 21:34:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:22:07.102427
• Title: Channel-Wise Mixed-Precision Quantization for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのチャネルワイズ混合精度量子化
• Authors: Zihan Chen, Bike Xie, Jundong Li, Cong Shen,
• Abstract要約: 大規模言語モデル(LLM)は、幅広い言語タスクで顕著な成功を収めている。 重みのみの量子化は、LCMのメモリフットプリントを削減するための有望な解決策である。 本稿では,CMPQ(Channel-Wise Mixed-Precision Quantization)を提案する。
• 参考スコア（独自算出の注目度）: 47.00361921910259
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable success across a wide range of language tasks, but their deployment on edge devices remains challenging due to the substantial memory requirements imposed by their large parameter sizes. Weight-only quantization presents a promising solution to reduce the memory footprint of LLMs. However, existing approaches primarily focus on integer-bit quantization, limiting their adaptability to fractional-bit quantization tasks and preventing the full utilization of available storage space on devices. In this paper, we introduce Channel-Wise Mixed-Precision Quantization (CMPQ), a novel mixed-precision quantization method that allocates quantization precision in a channel-wise pattern based on activation distributions. By assigning different precision levels to different weight channels, CMPQ can adapt to any bit-width constraint. CMPQ employs a non-uniform quantization strategy and incorporates two outlier extraction techniques that collaboratively preserve the critical information, thereby minimizing the quantization loss. Experiments on different sizes of LLMs demonstrate that CMPQ not only enhances performance in integer-bit quantization tasks but also achieves significant performance gains with a modest increase in memory usage. CMPQ thus represents an adaptive and effective approach to LLM quantization, offering substantial benefits across diverse device capabilities.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、幅広い言語タスクで顕著な成功を収めている。 重みのみの量子化は、LCMのメモリフットプリントを削減するための有望な解決策である。 しかし、既存のアプローチは、主に整数ビット量子化に焦点をあて、その適応性を分数ビット量子化タスクに制限し、デバイス上で利用可能なストレージスペースのフル活用を防ぐ。 本稿では,チャネルワイズ混合精密量子化(CMPQ)を提案する。これは,活性化分布に基づくチャネルワイズパターンの量子化精度を割り当てる,新しい混合精密量子化法である。 異なる重みのチャネルに異なる精度のレベルを割り当てることで、CMPQは任意のビット幅の制約に適応できる。 CMPQは、一様でない量子化戦略を採用し、臨界情報を協調的に保存し、量子化損失を最小限に抑える2つの外部抽出手法を取り入れている。 LLMの異なるサイズの実験により、CMPQは整数ビット量子化タスクの性能を高めるだけでなく、メモリ使用量の増加とともに大幅な性能向上を実現している。 したがって、CMPQはLLM量子化に対する適応的で効果的なアプローチであり、多様なデバイス機能にまたがる大きなメリットを提供する。

関連論文リスト

• QSpec: Speculative Decoding with Complementary Quantization Schemes [37.007621357142725]
  量子化は、推論を加速し、大きな言語モデルのメモリ消費を減らすために、実質的に採用されている。 本稿では、投機的復号化のための2つの相補的量子化スキームをシームレスに統合するQSPECと呼ばれる新しい量子化パラダイムを提案する。 QSPECは、品質上の妥協なしにトークン生成スループットを最大1.80倍向上させる。
  論文  参考訳（メタデータ） (2024-10-15T05:57:51Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
  大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。 本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-02-19T11:33:21Z)
• ApiQ: Finetuning of 2-Bit Quantized Large Language Model [12.328293460903911]
  ApiQは、LoRAコンポーネントを並列に初期化し、LLMの重みを定量化することで、失われた情報を量子化から復元するように設計されている。 様々なビット幅にわたって優れた微調整結果が得られる。
  論文  参考訳（メタデータ） (2024-02-07T09:36:54Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• AMED: Automatic Mixed-Precision Quantization for Edge Devices [3.5223695602582614]
  量子ニューラルネットワークは、レイテンシ、消費電力、モデルサイズをパフォーマンスに大きな影響を与えずに減少させることでよく知られている。 混合精度量子化は、異なるビット幅での算術演算をサポートするカスタマイズされたハードウェアのより良い利用を提供する。
  論文  参考訳（メタデータ） (2022-05-30T21:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。