Fugu-MT 論文翻訳(概要): MatGPTQ: Accurate and Efficient Post-Training Matryoshka Quantization

論文の概要: MatGPTQ: Accurate and Efficient Post-Training Matryoshka Quantization

arxiv url: http://arxiv.org/abs/2602.03537v1
Date: Tue, 03 Feb 2026 13:52:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-04 18:37:15.48331
Title: MatGPTQ: Accurate and Efficient Post-Training Matryoshka Quantization
Title（参考訳）: MatGPTQ: トレーニング後のMatryoshka量子化の正確かつ効率的な方法
Authors: Maximilian Kleinegger, Elvir Crnčević, Dan Alistarh,
Abstract要約: Matryoshka Quantization (MatQuant) は、1つの整数量子化モデルを複数の精度で提供できることを示す最近の量子化手法である。実験後マトリシカ量子化(MatGPTQ)を提案する。これはPTQパイプラインで、1ショットで複数のターゲット精度に最適化された1つの親モデルを生成する。
参考スコア（独自算出の注目度）: 35.18619976978831
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Matryoshka Quantization (MatQuant) is a recent quantization approach showing that a single integer-quantized model can be served across multiple precisions, by slicing the most significant bits (MSB) at inference time. This enables a single checkpoint to cover a wide range of memory and latency budgets, but renders quantization much more challenging. In particular, the initial MatQuant relies on expensive quantization-aware training (QAT) variants, rather than fast one-shot post training quantization (PTQ), and lacks open-source and kernel support. We address all of these limitations by introducing Post-Training Matryoshka Quantization (MatGPTQ), a new PTQ pipeline that produces a single parent model jointly optimized for multiple target precisions in one-shot, based on a small calibration set. MatGPTQ casts Matryoshka quantization as a multi-precision objective with bit-slicing and cross-bit error compensation, resulting in an algorithm that produces a multi-bit-width, "sliceable" model in a single pass. We also incorporate a new budget-aware search for heterogeneous per-layer bit-witdhs and provide efficient kernels that implement slicing and mixed-precision execution. Across standard LLMs and benchmarks, MatGPTQ preserves high-bit accuracy while substantially improving performance at low-bit-witdh settings. Overall, we establish a new state of the art for Matryoshka-style post-training quantization and make single-checkpoint, multi-precision deployment open and practical. Code is available at https://github.com/IST-DASLab/MatGPTQ.
Abstract（参考訳）: マトリオシュカ量子化(Matryoshka Quantization、MatQuant)は、推論時に最も重要なビット(MSB)をスライスすることで、1つの整数量子化モデルを複数の精度で提供できることを示す最近の量子化手法である。これにより、単一のチェックポイントが幅広いメモリとレイテンシの予算をカバーできるが、量子化をより難しくする。特に初期のMatQuantは、高速なワンショットポストトレーニング量子化(PTQ)ではなく、高価な量子化対応トレーニング(QAT)のバリエーションに依存しており、オープンソースとカーネルをサポートしていない。実験後マトリシカ量子化(MatGPTQ)を導入することで,これらの制約に対処する。これは,小さなキャリブレーションセットに基づいて,複数のターゲット精度に共同最適化された単一親モデルを生成する新しいPTQパイプラインである。 MatGPTQは、Materyoshka量子化をビットスライシングとクロスビット誤り補償を備えたマルチ精度の目的として捉え、結果として、マルチビット幅の「スライス可能な」モデルを1パスで生成するアルゴリズムを生み出した。また,不均質な層間ビットウィットの探索とスライシングと混合精度実行を実装した効率的なカーネルを提供する。標準LLMとベンチマークの他、MatGPTQはハイビットの精度を保ちながら、低ビットのウィット設定の性能を大幅に向上させる。総合的に,Matryoshkaスタイルのポストトレーニング量子化のための新しい最先端技術を確立し,単一チェックポイント,複数精度展開をオープンかつ実用的なものにする。コードはhttps://github.com/IST-DASLab/MatGPTQ.comで入手できる。

関連論文リスト

Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
論文参考訳（メタデータ） (2025-10-23T20:19:48Z)
QSpec: Speculative Decoding with Complementary Quantization Schemes [53.960146187821685]
大規模言語モデル(LLM)における推論の高速化とメモリ消費削減のために量子化が広く採用されている品質から効率を分離する新しい量子化パラダイムであるQSpecを提案する。 QSpecは重みとKVキャッシュの両方を段階的に再利用し、再トレーニングや補助モデルなしでほぼゼロコストで切り替えることができる。
論文参考訳（メタデータ） (2024-10-15T05:57:51Z)
EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
論文参考訳（メタデータ） (2024-07-10T17:53:30Z)
SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-23T16:21:48Z)
MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search [7.564770908909927]
量子化は、効率的なディープニューラルネットワーク(DNN)を作成する技術であるラウンドオフ誤差に基づいて各層重みに対する最適な量子化ビット幅を求める検索アルゴリズムであるMixQuantを提案する。我々は、MixQuantと最先端の量子化手法BRECQを組み合わせることで、BRECQ単独よりも優れた量子化モデル精度が得られることを示す。
論文参考訳（メタデータ） (2023-09-29T15:49:54Z)
Mixed-Precision Quantization for Deep Vision Models with Integer Quadratic Programming [7.0146264551420066]
量子化はニューラルネットワークを圧縮する技術として広く使われている。 MPQは、様々なビット幅をレイヤに割り当て、精度と効率のトレードオフを最適化することで、この問題に対処する。我々は、量子化誤差の層間依存性をキャプチャする実用的な感度に基づくMPQアルゴリズムであるCLADOを紹介する。
論文参考訳（メタデータ） (2023-07-11T15:56:00Z)
Towards Efficient Post-training Quantization of Pre-trained Language Models [85.68317334241287]
PLMのポストトレーニング量子化(PTQ)について検討し,モジュール単位の量子化誤差最小化(MREM)を提案する。 GLUEとSQuADベンチマークの実験により、提案したPTQソリューションはQATに近く動作するだけでなく、トレーニング時間、メモリオーバーヘッド、データ消費を大幅に削減できることがわかった。
論文参考訳（メタデータ） (2021-09-30T12:50:06Z)
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文参考訳（メタデータ） (2021-09-05T15:15:07Z)
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization [32.770842274996774]
混合精度量子化は、ディープニューラルネットワークの性能と圧縮率の最適なトレードオフを実現できる可能性がある。従来の方法は、小さな手作業で設計された検索空間のみを調べるか、面倒なニューラルネットワークアーキテクチャ検索を使用して広大な検索空間を探索する。本研究では、ビットレベルスパーシティを誘導する新たな角度から、混合精度量子化に取り組むためのビットレベルスパーシティ量子化(BSQ)を提案する。
論文参考訳（メタデータ） (2021-02-20T22:37:41Z)
Post-training Quantization with Multiple Points: Mixed Precision without Mixed Precision [20.081543082708688]
低ビット数の複数ベクトルの線形結合を用いて全精度重みベクトルを近似する多点量子化法を提案する。提案手法は,ImageNet分類における最先端の手法よりも優れており,PASCAL VOCオブジェクト検出のようなより困難なタスクに一般化可能であることを示す。
論文参考訳（メタデータ） (2020-02-20T22:37:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。