論文の概要: Qrazor: Reliable and Effortless 4-bit LLM Quantization by Significant Data Razoring

• arxiv url: http://arxiv.org/abs/2501.13331v2
• Date: Wed, 05 Feb 2025 08:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:24:37.537562
• Title: Qrazor: Reliable and Effortless 4-bit LLM Quantization by Significant Data Razoring
• Title（参考訳）: Qrazor: 重要なデータラゾリングによる信頼性と不運な4ビットLDM量子化
• Authors: Dongyoung Lee, Seungkyu Choi, Ik Joon Chang,
• Abstract要約: QRazorは、ウェイト、アクティベーション、KVキャッシュの4ビット量子化をトランスフォーマーベース言語モデルで実現可能な、シンプルで効果的な量子化方式である。 まず、8ビットまたは16ビットの整数を用いてデータを量子化し、絶対的な最大スケーリングで完全精度のモデルに近い精度で保存し、次に、重要なデータレイソーシング(SDR)技術を用いて4ビットに圧縮する。
• 参考スコア（独自算出の注目度）: 2.983583925806601
• License:
• Abstract: Large-scale language models (LLMs) excel in language processing tasks but face deployment challenges due to high memory and computational demands. While low-bit quantization, such as 4-bit techniques, offers a potential solution, these methods often suffer from significant accuracy loss or require considerable effort for implementation such as reordering, rotation, etc. To address these challenges, we propose QRazor, a simple yet effective quantization scheme that enables 4-bit quantization of weights, activations, and KV cache in transformer-based LLMs. QRazor operates in two stages: first, quantizing data using 8 or 16-bit integers as a basis with absolute max scaling to preserve accuracy close to full-precision models, and second, compressing the quantized data to 4-bit using our significant data razoring (SDR) technique, which retains only the four most salient bits. Without any additional requirment of fine-tuning or additional training, QRazor achieves performance similar or better compared to state-of-the-art in 4-bit quantization method, surpassing Smoothquant and QLLM by over 12 points and Quarot(RTN) by more than 2.9 points in zero-shot reasoning task accuracy on the LLaMA2-7B model. Additionally, we introduce an integer-based arithmetic unit optimized for QRazor, allowing direct low-precision operations on SDR data without decompression.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、言語処理タスクでは優れているが、高いメモリと計算要求のため、デプロイメントの課題に直面している。 4ビット技術のような低ビット量子化は潜在的な解決策を提供するが、これらの手法は、しばしばかなりの精度の損失や、リオーダーやローテーションなどの実装に多大な労力を要する。 これらの課題に対処するために、QRazorを提案する。これは、トランスフォーマーベースのLLMにおいて、ウェイト、アクティベーション、KVキャッシュの4ビット量子化を可能にする、シンプルで効果的な量子化スキームである。 QRazorは2つの段階で動作する: 1つは8ビットまたは16ビットの整数を用いてデータを絶対的な最大スケーリングで量子化し、もう1つは、量子化されたデータを4ビットに圧縮する。 Smoothquant と QLLM を12点以上上回り、Quarot(RTN) を2.9点以上上回り、LLaMA2-7B モデルのゼロショット推論タスク精度を実現している。 さらに、QRazorに最適化された整数ベースの算術演算ユニットを導入し、圧縮なしでSDRデータの直接的低精度演算を可能にする。

関連論文リスト

• ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization [58.84018707089315]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• AMXFP4: Taming Activation Outliers with Asymmetric Microscaling Floating-Point for 4-bit LLM Inference [6.699442219974261]
  高速な大規模言語モデル推論のための非対称マイクロスケーリング4ビット浮動小数点(AMXFP4)を提案する。 データ・ローテーションとコスト・キャリブレーションに依存する従来の4ビット量子化法とは異なり、AMXFP4は4ビット直接鋳造に非対称な共有スケールを使用する。 私たちのAMXFP4フォーマットはMXFP4や他の主要な量子化技術よりも優れており、ロバストでキャリブレーションのない4ビットの推論を可能にします。
  論文  参考訳（メタデータ） (2024-11-15T03:11:19Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Enhancing Computation Efficiency in Large Language Models through Weight and Activation Quantization [12.655230451207956]
  本稿では,Large Language Models(LLMs)における後学習量子化(PTQ)に焦点を当てる。 本稿では,アクティベーション量子化対応スケーリング(AQAS)とシーケンス長対応キャリブレーション(SLAC)の2つの革新的な手法を提案する。 我々の技術はタスクの精度を大幅に向上させ、完全精度モデルに匹敵するレベルまで向上することを示した。
  論文  参考訳（メタデータ） (2023-11-09T06:19:51Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs [16.596819845726625]
  SignRoundは、符号付き勾配降下(SignSGD)を利用して、200ステップで丸め値とウェイトクリッピングを最適化する手法である。 2ビットから4ビットにわたって例外的な結果を提供すると同時に、チューニングコストを最小化し、追加の推論オーバーヘッドを回避する。 また、近年のモデルでは強力な一般化が示され、ほとんどのシナリオでほぼロスレスな4ビット量子化が達成されている。
  論文  参考訳（メタデータ） (2023-09-11T14:58:23Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression [76.73007709690306]
  Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。 SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。 これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
  論文  参考訳（メタデータ） (2023-06-05T17:53:28Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。