Fugu-MT 論文翻訳(概要): RUQuant: Towards Refining Uniform Quantization for Large Language Models

論文の概要: RUQuant: Towards Refining Uniform Quantization for Large Language Models

arxiv url: http://arxiv.org/abs/2604.04013v1
Date: Sun, 05 Apr 2026 08:04:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-07 15:49:18.873682
Title: RUQuant: Towards Refining Uniform Quantization for Large Language Models
Title（参考訳）: RUQuant: 大規模言語モデルの統一量子化に向けて
Abstract要約: ポストトレーニング量子化(PTQ)は、再トレーニングを必要とせずにモデルを圧縮することで、実用的なソリューションとして登場した。既存の方法は、アクティベーション分布の非一様性により、かなりの精度の劣化に悩まされることが多い。本研究では,ロイド-マックス最適条件に基づく理論的な観点から,活性化量子化問題を再考する。
参考スコア（独自算出の注目度）: 17.258420059228808
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The increasing size and complexity of large language models (LLMs) have raised significant challenges in deployment efficiency, particularly under resource constraints. Post-training quantization (PTQ) has emerged as a practical solution by compressing models without requiring retraining. While existing methods focus on uniform quantization schemes for both weights and activations, they often suffer from substantial accuracy degradation due to the non-uniform nature of activation distributions. In this work, we revisit the activation quantization problem from a theoretical perspective grounded in the Lloyd-Max optimality conditions. We identify the core issue as the non-uniform distribution of activations within the quantization interval, which causes the optimal quantization point under the Lloyd-Max criterion to shift away from the midpoint of the interval. To address this issue, we propose a two-stage orthogonal transformation method, RUQuant. In the first stage, activations are divided into blocks. Each block is mapped to uniformly sampled target vectors using composite orthogonal matrices, which are constructed from Householder reflections and Givens rotations. In the second stage, a global Householder reflection is fine-tuned to further minimize quantization error using Transformer output discrepancies. Empirical results show that our method achieves near-optimal quantization performance without requiring model fine-tuning: RUQuant achieves 99.8% of full-precision accuracy with W6A6 and 97% with W4A4 quantization for a 13B LLM, within approximately one minute. A fine-tuned variant yields even higher accuracy, demonstrating the effectiveness and scalability of our approach.
Abstract（参考訳）: 大規模言語モデル(LLM)のサイズと複雑さの増大は、特にリソース制約の下で、デプロイメント効率において大きな課題を引き起こしている。ポストトレーニング量子化(PTQ)は、再トレーニングを必要とせずにモデルを圧縮することで、実用的なソリューションとして登場した。既存の方法では、ウェイトとアクティベーションの両方の均一な量子化スキームに焦点が当てられているが、アクティベーション分布の非一様性のため、しばしばかなりの精度の劣化に悩まされる。本研究では,ロイド-マックス最適条件に基づく理論的な観点から,活性化量子化問題を再考する。中心問題は量子化区間内でのアクティベーションの非一様分布であり、ロイド・マックス基準の下での最適な量子化点が区間の中間点からずれる原因となる。そこで本研究では,2段階の直交変換法RUQuantを提案する。第1段階では、アクティベーションはブロックに分割される。各ブロックを合成直交行列を用いて一様サンプリング対象ベクトルにマッピングする。第2段階では、トランスフォーマー出力の相違を利用して、さらに量子化誤差を最小限に抑えるために、大域的なリフレクションを微調整する。 RUQuantはW6A6で99.8%,W4A4で97%,W4A4で約1分以内の量子化を実現する。微調整のバリエーションは、我々のアプローチの有効性とスケーラビリティを実証し、さらに高い精度が得られる。

関連論文リスト

Theory-optimal Quantization Based on Flatness [31.126049393687143]
学習後の量子化は、Large Language Models (LLMs) の推論を圧縮し加速する手法として広く採用されている。 LLM量子化における主な課題は、特に低ビット精度でモデル性能を著しく低下させる、外れ値に起因する。本稿では,2方向対角量子化(BDQ)を提案する。
論文参考訳（メタデータ） (2026-05-11T10:51:40Z)
LoPRo: Enhancing Low-Rank Quantization via Permuted Block-Wise Rotation [6.797237769820339]
ポストトレーニング量子化(PTQ)は、比較的高い精度を維持しながら効果的なモデル圧縮を可能にする。残留行列量子化を向上する新しい微調整不要なPTQアルゴリズムであるLoPRoを提案する。実験により、LoPRoは2ビットおよび3ビットの量子化において既存の微調整不要のPTQ法より優れていることが示された。
論文参考訳（メタデータ） (2026-01-27T14:56:04Z)
SingleQuant: Efficient Quantization of Large Language Models in a Single Pass [17.504732263852876]
量子化切り離しを分離する単一パス量子化フレームワークであるSingleQuantを提案する。具体的には、SingleQuantはアクティベーションアウトリアをターゲットとしたアライメント回転変換(ART)と統一回転変換(URT)を構築している。実験の結果、SingleQuantは様々なタスクにまたがる選択されたベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2025-11-27T10:46:39Z)
MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文参考訳（メタデータ） (2025-07-06T08:16:50Z)
RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文参考訳（メタデータ） (2025-02-13T06:44:33Z)
FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文参考訳（メタデータ） (2024-10-12T08:10:28Z)
Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文参考訳（メタデータ） (2024-10-10T17:02:48Z)
BiSup: Bidirectional Quantization Error Suppression for Large Language Models [13.042992673384466]
本稿では,双方向量子化誤差抑圧法であるBiSupを紹介する。 BiSupは2つの最先端手法で性能を向上できることを示す。
論文参考訳（メタデータ） (2024-05-24T08:39:27Z)
SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-23T16:21:48Z)
AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文参考訳（メタデータ） (2024-03-19T08:40:21Z)
CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。