論文の概要: LLM Compression: How Far Can We Go in Balancing Size and Performance?

• arxiv url: http://arxiv.org/abs/2508.11318v1
• Date: Fri, 15 Aug 2025 08:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.804966
• Title: LLM Compression: How Far Can We Go in Balancing Size and Performance?
• Title（参考訳）: LLM圧縮: サイズとパフォーマンスのバランスをとるには,どこまですればよいのか?
• Authors: Sahil Sk, Debasish Dhal, Sonal Khosla, Sk Shahid, Sambit Shekhar, Akash Dhaka, Shantipriya Parida, Dilip K. Prasad, Ondřej Bojar,
• Abstract要約: 4ビットグループスケーリング量子化(GSQ)とGPTQ(Generative Pretrained Transformer Quantization)をLLaMA 1B,Qwen 0.5B,PHI 1.5Bに適用した。 我々はこれらのモデルをMS MARCO (Information Retrieval), BoolQ (Boolean Question Answering), GSM8K (Mathematical Reasoning)データセットでベンチマークする。 この研究は、モデル圧縮とタスクパフォーマンスのトレードオフを測定し、主要な評価指標を分析する。
• 参考スコア（独自算出の注目度）: 3.8420176149841714
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Quantization is an essential and popular technique for improving the accessibility of large language models (LLMs) by reducing memory usage and computational costs while maintaining performance. In this study, we apply 4-bit Group Scaling Quantization (GSQ) and Generative Pretrained Transformer Quantization (GPTQ) to LLaMA 1B, Qwen 0.5B, and PHI 1.5B, evaluating their impact across multiple NLP tasks. We benchmark these models on MS MARCO (Information Retrieval), BoolQ (Boolean Question Answering), and GSM8K (Mathematical Reasoning) datasets, assessing both accuracy and efficiency across various tasks. The study measures the trade-offs between model compression and task performance, analyzing key evaluation metrics, namely accuracy, inference latency, and throughput (total output tokens generated per second), providing insights into the suitability of low-bit quantization for real-world deployment. Using the results, users can then make suitable decisions based on the specifications that need to be met. We discuss the pros and cons of GSQ and GPTQ techniques on models of different sizes, which also serve as a benchmark for future experiments.
• Abstract（参考訳）: 量子化は、性能を維持しながらメモリ使用量と計算コストを削減し、大規模言語モデル(LLM)のアクセシビリティを向上させるための必須かつ一般的な技術である。 本研究では,4ビットグループスケーリング量子化(GSQ)とGPTQ(Generative Pretrained Transformer Quantization)をLLaMA 1B,Qwen 0.5B,PHI 1.5Bに適用し,複数のNLPタスクに対する影響を評価する。 我々はこれらのモデルをMS MARCO(Information Retrieval)、BoolQ(Boolean Question Answering)、GSM8K(Mathematical Reasoning)データセットでベンチマークし、様々なタスクにおける精度と効率を評価する。 この研究は、モデル圧縮とタスクパフォーマンスのトレードオフを測定し、重要な評価指標、すなわち正確性、推論レイテンシ、スループット(毎秒のトータル出力トークン)を分析し、現実世界のデプロイメントにおける低ビット量子化の適性に関する洞察を提供する。 結果を使用することで、ユーザーは満たすべき仕様に基づいて適切な判断を下すことができる。 本稿では,GSQ と GPTQ の異なるモデルにおける長所と短所について論じる。

関連論文リスト

• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• Mixed-Precision Quantization for Language Models: Techniques and Prospects [10.345914140081925]
  量子化は、モデルサイズを減らし、メモリボトルネックを緩和し、推論を加速する重要な圧縮技術として登場した。 混合精度量子化は、効率と精度のバランスをとるために、層またはテンソル内で精度を選択的に割り振ることで、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-10-19T12:16:40Z)
• Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
  量子化下でのモデルロバスト性に対する選択の影響について検討する。 モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。 異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
  論文  参考訳（メタデータ） (2025-09-27T21:15:22Z)
• RSQ: Learning from Important Tokens Leads to Better Quantized LLMs [65.5558181902098]
  レイヤーワイド量子化は、高価なリトレーニングなしで大きなモデルを効率的に圧縮するための重要な技術である。 モデルに回転を適用して外乱を緩和するRSQ(Rotate, Scale, then Quantize)を提案する。 RSQは、複数の下流タスクと3つのモデルファミリーで、ベースラインメソッドを一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2025-03-03T18:46:33Z)
• Benchmarking Post-Training Quantization in LLMs: Comprehensive Taxonomy, Unified Evaluation, and Comparative Analysis [89.60263788590893]
  後学習量子化(PTQ)技術は大規模言語モデル(LLM)圧縮に広く採用されている。 既存のアルゴリズムは主にパフォーマンスに重点を置いており、モデルサイズ、パフォーマンス、量子化ビット幅間のトレードオフを見越している。 本稿では LLM PTQ のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-02-18T07:35:35Z)
• Evaluating the Generalization Ability of Quantized LLMs: Benchmark, Analysis, and Toolbox [46.39670209441478]
  大規模言語モデル(LLM)は、複数のシナリオでエキサイティングな進歩を見せている。 メモリフットプリントと推論コストを削減する効果的な方法として、量子化は低ビット幅での性能劣化にも直面する。 この研究は、評価システム、詳細な分析、一般的なツールボックスを含む、この研究トピックのための包括的なベンチマークスイートを提供する。
  論文  参考訳（メタデータ） (2024-06-15T12:02:14Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• KDLSQ-BERT: A Quantized Bert Combining Knowledge Distillation with Learned Step Size Quantization [1.9786767260073905]
  BERTのようなトランスフォーマーベースの言語モデルでは、さまざまな自然言語処理タスクのパフォーマンスが大幅に向上している。 言語モデル量子化のための知識蒸留(KD)と学習ステップサイズ量子化(LSQ)を組み合わせた新しい量子化手法KDLSQ-BERTを提案する。
  論文  参考訳（メタデータ） (2021-01-15T02:21:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。