論文の概要: Qrazor: Reliable and effortless 4-bit llm quantization by significant data razoring

• arxiv url: http://arxiv.org/abs/2501.13331v1
• Date: Thu, 23 Jan 2025 02:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:57:44.573802
• Title: Qrazor: Reliable and effortless 4-bit llm quantization by significant data razoring
• Title（参考訳）: Qrazor: 重要なデータレイソーシングによる信頼性と労力のない4ビットllm量子化
• Authors: Dongyoung Lee, Seungkyu Choi, Ik Joon Chang,
• Abstract要約: QRazorは、トランスフォーマーベースの言語モデルのための信頼性と努力の無い量子化スキームである。 量子化段階では、ウェイト、アクティベーション、KVキャッシュ値はより広い8ビットまたは16ビット整数で量子化される。 提案した有意データレイソーシング(SDR)技術を用いて,すべてのデータを4ビットに圧縮する。 量子化の労力が減ったにもかかわらず、QRazorは、最先端の4ビットメソッドに匹敵するLCM精度を達成している。
• 参考スコア（独自算出の注目度）: 2.983583925806601
• License:
• Abstract: Large-scale language models (LLMs) have demonstrated outstanding performance in language processing tasks, yet their deployment is often hindered by high memory demands and computational complexity. Although low-bit quantization techniques, such as 4-bit quantization, present a potential solution, they frequently lead to significant accuracy degradation or require substantial effort for such aggressive quantization approaches. To overcome these challenges, we introduce QRazor, a reliable and effortless quantization scheme designed to enable 4-bit quantization for weights, activations, and KV cache in transformer-based LLMs. The scheme involves two main stages: quantization and compression. During the quantization stage, weights, activations, and KV cache values are quantized with wider 8 or 16-bit integers as a basis to achieve nearly identical accuracy to the original full-precision LLM models, using the absolute max scaling. Subsequently, all data are compressed to 4-bit using our proposed significant data razoring (SDR) technique, which retains only the four most salient bits while discarding the others. Furthermore, we present an integer-based arithmetic unit dedicated to QRazor, enabling direct low-precision arithmetic operations without decompressing the SDR data. Despite the reduced quantization effort, QRazor achieves LLM accuracies better or comparable to state-of-the-art 4-bit methods. By also validating the hardware efficiency, our decompression-free arithmetic unit achieves 61.2% and 57.8% reduction in area and power consumption, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、言語処理タスクにおいて優れた性能を示してきたが、そのデプロイメントは高いメモリ要求と計算複雑性によって妨げられていることが多い。 4ビット量子化(英語版)のような低ビット量子化技術は潜在的な解をもたらすが、そのような攻撃的な量子化アプローチには、しばしばかなりの精度の劣化または相当な努力を必要とする。 これらの課題を克服するために、QRazorは、トランスフォーマーベースのLLMにおいて、ウェイト、アクティベーション、KVキャッシュの4ビット量子化を可能にするために設計された信頼性と努力の無い量子化スキームである。 このスキームは量子化と圧縮の2つの主要な段階を含む。 量子化段階では、絶対最大スケーリングを用いて、ウェイト、アクティベーション、KVキャッシュ値をより広い8ビットまたは16ビット整数で量子化し、元のフル精度LCMモデルとほぼ同一の精度を達成する。 その後、提案した有意データレイソーシング(SDR)技術を用いて、すべてのデータを4ビットに圧縮する。 さらに、QRazor専用の整数ベースの算術演算ユニットを提案し、SDRデータを圧縮することなく直接低精度算術演算を可能にする。 量子化の労力が減ったにもかかわらず、QRazorは、最先端の4ビットメソッドに匹敵するLCM精度を達成している。 また、ハードウェア効率の検証により、圧縮不要演算ユニットは、それぞれ61.2%と57.8%の面積削減と消費電力削減を実現している。

関連論文リスト

• ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization [58.84018707089315]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• AMXFP4: Taming Activation Outliers with Asymmetric Microscaling Floating-Point for 4-bit LLM Inference [6.699442219974261]
  高速な大規模言語モデル推論のための非対称マイクロスケーリング4ビット浮動小数点(AMXFP4)を提案する。 データ・ローテーションとコスト・キャリブレーションに依存する従来の4ビット量子化法とは異なり、AMXFP4は4ビット直接鋳造に非対称な共有スケールを使用する。 私たちのAMXFP4フォーマットはMXFP4や他の主要な量子化技術よりも優れており、ロバストでキャリブレーションのない4ビットの推論を可能にします。
  論文  参考訳（メタデータ） (2024-11-15T03:11:19Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Enhancing Computation Efficiency in Large Language Models through Weight and Activation Quantization [12.655230451207956]
  本稿では,Large Language Models(LLMs)における後学習量子化(PTQ)に焦点を当てる。 本稿では,アクティベーション量子化対応スケーリング(AQAS)とシーケンス長対応キャリブレーション(SLAC)の2つの革新的な手法を提案する。 我々の技術はタスクの精度を大幅に向上させ、完全精度モデルに匹敵するレベルまで向上することを示した。
  論文  参考訳（メタデータ） (2023-11-09T06:19:51Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs [16.596819845726625]
  SignRoundは、符号付き勾配降下(SignSGD)を利用して、200ステップで丸め値とウェイトクリッピングを最適化する手法である。 2ビットから4ビットにわたって例外的な結果を提供すると同時に、チューニングコストを最小化し、追加の推論オーバーヘッドを回避する。 また、近年のモデルでは強力な一般化が示され、ほとんどのシナリオでほぼロスレスな4ビット量子化が達成されている。
  論文  参考訳（メタデータ） (2023-09-11T14:58:23Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression [76.73007709690306]
  Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。 SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。 これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
  論文  参考訳（メタデータ） (2023-06-05T17:53:28Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。