論文の概要: QTEA: Ternary LLMs with Sparse Residual Salient Weight and By-Column Optimization
- arxiv url: http://arxiv.org/abs/2609.00224v2
- Date: Wed, 02 Sep 2026 07:12:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 15:35:44.748162
- Title: QTEA: Ternary LLMs with Sparse Residual Salient Weight and By-Column Optimization
- Title（参考訳）: QTEA: 疎残量残量重み付き3次LLMとバイコロン最適化
- Abstract要約: 3次値に重みを量子化し,残差補償器として正重みを用いるサブ2ビットPTQフレームワークQTEAを提案する。
Qwen3-14Bでは、QTEAは全ての重量を1重量あたり1.7ビットに圧縮し、最強の3次PTQベースラインの平均精度を16.7%向上させた。
また、WikiTextとC4では、それぞれ1.40$times$と2.61$times$低いパープレキシティを達成している。
- 参考スコア（独自算出の注目度）: 9.778816613621848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weight-only post-training quantization (PTQ) can alleviate the computational burden of serving large language models (LLMs) at scale. However, existing PTQ methods often fail to generalize across models and suffer severe accuracy loss below 2 bits. Many leverage unstructured sparsity to mitigate this loss, but at the cost of regularity and GPU-friendly execution. We present QTEA, a sub-2-bit PTQ framework that quantizes weights into ternary values and uses salient weights as residual error compensators. To maintain hardware efficiency, residuals are assigned to selected columns with semi-structured $1:4$ sparsity within the salient columns. We further add column-wise rescale refinement to GPTQ-style column-by-column quantization, alternately updating per-column scales and ternary assignments to reduce reconstruction error. We also identify order-dependent error propagation in GPTQ and introduce error decay to attenuate late-stage error accumulation. On Qwen3-14B, QTEA compresses all weights to an effective 1.7 bits per weight while improving average accuracy over the strongest ternary PTQ baseline by 16.7%. It also achieves 1.40$\times$ and 2.61$\times$ lower perplexity on WikiText and C4 respectively. This trend holds on Llama3-8B, where QTEA obtains a 6.6% accuracy gain and 1.34$\times$ / 1.95$\times$ lower perplexity on the same datasets. Finally, we develop a lookup-table based kernel that achieves 7.2$\times$ faster per-token generation over an FP16 baseline. Code is available at https://github.com/Intelligent-Microsystems-Lab/QTEA.
- Abstract（参考訳）: 重みのみのポストトレーニング量子化(PTQ)は、大規模言語モデル(LLM)を大規模に提供する際の計算負担を軽減することができる。
しかし、既存のPTQ法はモデル全体の一般化に失敗し、2ビット未満の精度の損失を被ることが多い。
多くの人は、この損失を軽減するために非構造化のスパーシリティを利用するが、正規性とGPUフレンドリな実行のコストがかかる。
3次値に重みを量子化し,残差補償器として正重みを用いるサブ2ビットPTQフレームワークQTEAを提案する。
ハードウェア効率を維持するため、残余は選択されたカラムに割り当てられ、半構造化された1:4$の空間がサリアントカラム内に割り当てられる。
さらに, GPTQ方式のカラム・バイ・カラム量子化にカラム・ワイド・リスケールの改良を加え, カラム単位のスケールと3次割り当てを交互に更新し, 再構成誤差を低減する。
また、GPTQにおける順序依存誤差の伝播を同定し、後期誤差の蓄積を減衰させるために誤差減衰を導入する。
Qwen3-14Bでは、QTEAは全ての重量を1重量あたり1.7ビットに圧縮し、最強の3次PTQベースラインの平均精度を16.7%向上させた。
また、WikiTextとC4では、それぞれ1.40$\times$と2.61$\times$低いパープレキシティを達成している。
この傾向は、QTEAが6.6%の精度向上と1.34$\times$ / 1.95$\times$低いパープレキシティを得るLlama3-8Bに当てはまる。
最後に、FP16ベースライン上で7.2$\times$高速なトーケン生成を実現するルックアップテーブルベースのカーネルを開発する。
コードはhttps://github.com/Intelligent-Microsystems-Lab/QTEAで入手できる。
関連論文リスト
- Minimizing the Hidden Cost of Scales: Graph-Guided Ultra-Low-Bit Quantization for Large Language Models [50.16014098038291]
学習後量子化(PTQ)は,大規模言語モデル(LLM)の効率的な展開に重要である
隠れスケーリングコストを最小限に抑えるLLMのための超低ビット量子化フレームワークであるSAGE-PTQを提案する。
LLaMA-3B では、SAGE-PTQ は BiLLM の 55.8 と比較して 6.74 WikiText2 のパープレキシティを実現している。
論文 参考訳（メタデータ） (2026-06-03T20:51:52Z) - GPTQ-intrinsic LoRA: A Near-optimal Algorithm for Low-precision Quantization with Low-rank Adaptation [5.886065213861507]
一般的な治療法は、量子化された重みを低ランクの補正で増大させ、$Wapprox Q+LR$という形の近似を与えることである。
低ランク補正を直接GPTQ型量子化パスに組み込む訓練不要アルゴリズムであるGPTQ-inrinsic LoRAを提案する。
Qwen3言語モデルとDeiTビジョントランスフォーマーの実験により、GPTQ固有のLoRAはGPTQとGPTQよりも改善され、低ランクの補償が得られた。
論文 参考訳（メタデータ） (2026-05-31T19:17:39Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs [6.571619511143774]
量子化エラー再構成(QER)は、量子化エラーを再現するためにランク=$r$の補正を用いて、重量を$mathbfW approx mathbfQ + mathbfLmathbfR$と近似することで、PTQ(Post-Training Quantization)の精度損失を低減する。
SRR(Structured Residual Residual Restruction)は、量子化前のアクティベーションスケールウェイトのトップ$k$特異部分空間を保存し、残余のみを量子化し、残余を$rとするランク割り当てフレームワークである。
論文 参考訳（メタデータ） (2026-02-02T12:02:21Z) - D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs [33.883527341335856]
軽量後トレーニング量子化(PTQ)は、メモリ使用量を減らし、低ビット演算子や専用ハードウェアを使わずに実用的なスピードアップを可能にするため、魅力的である。
精度は、重量のみのPTQにおいて、サブ-4ビットの精度で著しく低下する。
D$2$Quantは、ウェイトとアクティベーションの両方の観点から量子化を改善する新しいウェイトオンリーのPTQフレームワークである。
論文 参考訳（メタデータ） (2026-01-30T05:49:48Z) - BayesQ: Uncertainty-Guided Bayesian Quantization [1.565870461096057]
BayesQはトレーニング後の量子化フレームワークである。
後続の期待損失の下で量子化を最適化するのは、これが初めてである。
BayesQは低ビット量子化を不確実性を考慮したリスク最小化として再設定する。
論文 参考訳（メタデータ） (2025-11-11T22:36:19Z) - LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。
LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。
MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
論文 参考訳（メタデータ） (2025-05-24T14:47:28Z) - Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。
我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
論文 参考訳（メタデータ） (2025-04-10T02:19:03Z) - PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。
我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。
実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
論文 参考訳（メタデータ） (2025-02-18T08:04:58Z) - ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。
本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。
ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-12-18T22:01:55Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳（メタデータ） (2024-10-12T08:10:28Z) - VPTQ: Extreme Low-bit Vector Post-Training Quantization for Large Language Models [11.708250566573334]
大規模言語モデル(LLM)の極低ビット量子化のためのベクトル後学習量子化(VPTQ)を導入する。
VPTQはLLaMA-2で0.01$-$0.34$、Mistral-7Bで0.38$-$0.68$、LLaMA-3で4.41$-$7.34$を2ビットで還元する。
また、モデル精度を高め、モデルをさらに圧縮する残差量子化および外れ値量子化をサポートするためにVPTQを拡張した。
論文 参考訳（メタデータ） (2024-09-25T16:25:45Z) - Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。
現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。
本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
論文 参考訳（メタデータ） (2024-07-09T12:06:03Z) - OAC: Output-adaptive Calibration for Accurate Post-training Quantization [28.67781845829386]
大規模言語モデル(LLM)を圧縮するPTQ(Post-training Quantization)技術が開発されている。
ほとんどのPTQは、モデル出力を無視した層ワイドユークリッド損失に基づいて量子化誤差を定式化する。
キャリブレーションプロセスにモデル出力を組み込むために,出力適応量子化(OAC)を提案する。
論文 参考訳（メタデータ） (2024-05-23T20:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。