論文の概要: K-Quantization and its Impact on Output Performance

• arxiv url: http://arxiv.org/abs/2605.19645v1
• Date: Tue, 19 May 2026 10:31:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.281508
• Title: K-Quantization and its Impact on Output Performance
• Title（参考訳）: K量子化と出力性能への影響
• Authors: Robin Baki Davidsson, Pierre Nugues,
• Abstract要約: 本稿では,様々な量子化レベルにおける8つの大規模言語モデル(LLM)の性能について検討する。 ビット精度が低いと一般的にパフォーマンスが低下するが、その影響はモデルやタスクによって異なる。
• 参考スコア（独自算出の注目度）: 1.1458853556386797
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advancements in large language models (LLMs) have shown their remarkable capacities in many NLP tasks. However, their substantial size often presents challenges for deployment. This necessitates efficient techniques for model compression, with quantization emerging as a prominent solution. Despite its benefits, the exact impact of quantization (from 2- to 6-bit) on the performance and accuracy of LLMs remains an active area of research. This paper investigates the performance of eight LLMs at various quantization levels, focusing on tasks such as MMLU-Pro for knowledge processing and reasoning, CRUXEval for code comprehension, and MuSR for reading comprehension. Our results show a consistent trend where higher precision (e.g., 8-bit Q8\_0) yields improved performance, albeit with diminishing returns. Aggressive quantization (e.g., 2-bit Q2\_K) usually retains acceptable accuracy, though some models show a substantial loss in performance. Our findings indicate that while lower bit precision generally reduces performance, the impact varies across models and tasks. Larger models show greater resilience to aggressive quantization, but can still undergo significant drops at lower precision levels. Mid-sized models in the 7-9 billion parameter range strike an optimal balance between efficiency and resource usage. Such results provide insights into the trade-offs between model size, quantization, and performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、多くのNLPタスクにおいて顕著な能力を示している。 しかし、その大きなサイズは、しばしばデプロイメントの課題を示します。 これはモデル圧縮の効率的な技術を必要とし、量子化が顕著な解として現れる。 その利点にもかかわらず、LLMの性能と精度に対する量子化(2ビットから6ビット)の正確な影響は研究の活発な領域である。 本稿では,知識処理と推論のためのMMLU-Pro,コード理解のためのCRUXEval,読解のためのMuSRなどのタスクに着目し,様々な量子化レベルにおける8つのLLMの性能について検討する。 その結果,高い精度(例えば 8-bit Q8\_0)で性能が向上する傾向がみられた。 攻撃的量子化(例: 2-bit Q2\_K)は通常許容精度を維持するが、いくつかのモデルでは性能が著しく低下している。 その結果,低ビット精度は一般的に性能を低下させるが,その影響はモデルやタスクによって異なることがわかった。 より大規模なモデルは、攻撃的な量子化に対する弾力性を示すが、それでも低い精度で顕著な低下を経験することができる。 7-90億のパラメータ範囲の中規模モデルは、効率性とリソース使用量の最適なバランスをとっています。 このような結果は、モデルのサイズ、量子化、パフォーマンスの間のトレードオフに関する洞察を与えてくれる。

関連論文リスト

• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models [48.98109982725689]
  量子化推論モデルに関する最初の体系的研究を行う。 本研究は,様々なビット幅の最先端アルゴリズムを用いて,重み,KVキャッシュ,アクティベーション量子化について検討する。 モデルのサイズ、モデルの起源、タスクの難しさを、パフォーマンスの重要な決定要因とみなす。
  論文  参考訳（メタデータ） (2025-04-07T08:22:45Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• Quantifying the Capabilities of LLMs across Scale and Precision [12.879551933541345]
  本研究では,モデルスケールと量子化がインストラクションモデルの性能に及ぼす影響について検討する。 より大規模なモデルでは、精度の低下に対して例外的なレジリエンスを示し、4ビット量子化においても高い精度を維持することができることを示す。
  論文  参考訳（メタデータ） (2024-05-06T03:42:34Z)
• AWEQ: Post-Training Quantization with Activation-Weight Equalization for Large Language Models [0.18416014644193066]
  AWEQは、超低ビット量子化と8ビット重みとアクティベーション(W8A8)量子化の両方において優れている。 我々はさらに等化法を改良し、量子化バイアスの誤差を軽減し、モデルの堅牢性を確保する。
  論文  参考訳（メタデータ） (2023-11-02T15:18:22Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。