論文の概要: ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs
- arxiv url: http://arxiv.org/abs/2605.10793v1
- Date: Mon, 11 May 2026 16:23:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 02:24:05.581144
- Title: ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs
- Title（参考訳）: ConQuR:LLMの最適回転によるコーナ配向活性化量子化
- Authors: Chayne Thrash, Ali Abbasi, Soheil Kolouri,
- Abstract要約: 大きな言語モデル(LLM)は、大きなメモリフットプリントと高い推論コストのために、デプロイにコストがかかる。
ウェイトアクティベーション量子化はこれらのコストを削減することができるが、アクティベーションアウトレイアが大きな量子化誤差を引き起こすため、低ビットアクティベーション量子化は依然として困難である。
LLMアクティベーション量子化のための軽量な後回転校正法を提案する。
- 参考スコア（独自算出の注目度）: 14.352305549429289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are costly to deploy due to their large memory footprint and high inference cost. Weight-activation quantization can reduce these costs, but low-bit activation quantization remains difficult because activation outliers induce large quantization error. Recent rotation-based methods address this by applying orthogonal transformations that redistribute activation magnitude across dimensions, but existing approaches either require expensive end-to-end rotation training or rely on stored activation corpora, introducing significant compute or storage overhead. We propose a lightweight post-training rotation calibration method for LLM activation quantization. Our method learns orthogonal rotations that align normalized activations with the corners of an inscribed hypercube, encouraging activation energy to be distributed more evenly across dimensions. This objective admits an efficient closed-form update via the orthogonal Procrustes problem, avoiding gradient-based optimization over the orthogonal group. We further introduce an online calibration procedure that updates rotations as calibration samples are processed, eliminating the need to store activations on disk and allowing rotations to adapt to quantized activation distributions during calibration. Experiments on Llama-2 and Llama-3 models from 3B to 70B parameters show that our method achieves competitive or improved performance across perplexity benchmarks and common sense reasoning tasks while avoiding both costly end-to-end training and large offline activation storage.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、大きなメモリフットプリントと高い推論コストのために、デプロイにコストがかかる。
ウェイトアクティベーション量子化はこれらのコストを削減することができるが、アクティベーションアウトレイアが大きな量子化誤差を引き起こすため、低ビットアクティベーション量子化は依然として困難である。
近年の回転法では、次元にわたって活性化の規模を再分配する直交変換を適用することでこの問題に対処しているが、既存の手法では高価なエンドツーエンドの回転訓練を必要とするか、ストアド・アクティベーション・コーパスに頼っている。
LLMアクティベーション量子化のための軽量な後回転校正法を提案する。
本手法は, 正規化活性化と入力されたハイパーキューブの角を整列させる直交回転を学習し, 活性化エネルギーをより均等に次元に分散させる。
この目的は直交 Procrustes 問題による効率的な閉形式更新を認め、直交群に対する勾配に基づく最適化を避ける。
さらに、キャリブレーションサンプルの処理時に回転を更新するオンラインキャリブレーション手順を導入し、ディスク上のアクティベーションを保存する必要をなくし、キャリブレーション中に回転を量子化されたアクティベーション分布に適応できるようにする。
3Bから70BパラメータのLlama-2およびLlama-3モデルに対する実験により,本手法は,コストのかかるエンドツーエンドトレーニングと大規模なオフラインアクティベーションストレージの両方を回避しつつ,複雑度ベンチマークおよび常識推論タスク間での競合的,あるいは改善された性能を実現することを示す。
関連論文リスト
- ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation [32.6734400537211]
大規模言語モデル(LLMs)の量子化におけるアクティベーションアウトレーヤの緩和のための有望なソリューションとして、PTQ(Post-Training Quantization)が登場した。
レイヤワイズ変換法が出現し、局所化適応により精度が向上した。
しかし、レイヤワイズ方式では、活性化回転行列を重みに融合することができず、オンライン計算が必要であり、大きなオーバーヘッドを引き起こす。
本稿では、オフライン活性化回転融合とマッチングベースを利用して、そのようなオーバーヘッドを解決する量子化フレームワークReSpinQuantを提案する。
論文 参考訳（メタデータ） (2026-04-13T07:00:26Z) - FreeAct: Freeing Activations for LLM Quantization [89.97086263978058]
量子化は、大規模言語モデルの重要なメモリと計算オーバーヘッドを軽減するために重要である。
FreeActは静的な1対1の制約を緩和し、動的アクティベーションの格差を緩和する新しい量子化フレームワークである。
dLLMとMLLMでの実験では、FreeActはベースラインを大幅に上回り、パフォーマンスは最大5.3%向上した。
論文 参考訳（メタデータ） (2026-03-02T12:02:17Z) - STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization [21.93314755695813]
量子化は、生成AIモデルの推論レイテンシ、電力、メモリフットプリントを低減するための重要な方法である。
テキストシーケンス変換と混合精度(STaMP)量子化を提案する。
論文 参考訳（メタデータ） (2025-10-30T17:53:42Z) - BASE-Q: Bias and Asymmetric Scaling Enhanced Rotational Quantization for Large Language Models [25.783531928577233]
BASE-Qは、偏差補正と非対称スケーリングを組み合わせて、丸め誤差やクリップ誤差を減らす、シンプルながら強力なアプローチである。
実験では、BASE-Qの有効性が示され、精度のギャップは、QuaRot、SpinQuant、OSTQuantと比較して50.5%、42.9%、29.2%縮小した。
論文 参考訳（メタデータ） (2025-05-26T14:22:21Z) - RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。
RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。
その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文 参考訳（メタデータ） (2025-02-13T06:44:33Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳（メタデータ） (2024-10-12T08:10:28Z) - CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。
LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。
CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文 参考訳（メタデータ） (2023-12-13T07:56:27Z) - Efficient Adaptive Activation Rounding for Post-Training Quantization [18.174377380203033]
トレーニング後の量子化は、量子化されたニューラルネットワークをデプロイする上で便利である。
以前の研究では、重量量子化に適用された場合、最適以下の性質が示されている。
本稿では,アクティベーションのラウンドスキームを調整することで出力誤差を低減するためのAQuantフレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-25T09:02:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。