論文の概要: ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs
- arxiv url: http://arxiv.org/abs/2605.10793v1
- Date: Mon, 11 May 2026 16:23:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 02:24:05.581144
- Title: ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs
- Title（参考訳）: ConQuR:LLMの最適回転によるコーナ配向活性化量子化
- Abstract要約: 大きな言語モデル(LLM)は、大きなメモリフットプリントと高い推論コストのために、デプロイにコストがかかる。
ウェイトアクティベーション量子化はこれらのコストを削減することができるが、アクティベーションアウトレイアが大きな量子化誤差を引き起こすため、低ビットアクティベーション量子化は依然として困難である。
LLMアクティベーション量子化のための軽量な後回転校正法を提案する。
- 参考スコア（独自算出の注目度）: 14.352305549429289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are costly to deploy due to their large memory footprint and high inference cost. Weight-activation quantization can reduce these costs, but low-bit activation quantization remains difficult because activation outliers induce large quantization error. Recent rotation-based methods address this by applying orthogonal transformations that redistribute activation magnitude across dimensions, but existing approaches either require expensive end-to-end rotation training or rely on stored activation corpora, introducing significant compute or storage overhead. We propose a lightweight post-training rotation calibration method for LLM activation quantization. Our method learns orthogonal rotations that align normalized activations with the corners of an inscribed hypercube, encouraging activation energy to be distributed more evenly across dimensions. This objective admits an efficient closed-form update via the orthogonal Procrustes problem, avoiding gradient-based optimization over the orthogonal group. We further introduce an online calibration procedure that updates rotations as calibration samples are processed, eliminating the need to store activations on disk and allowing rotations to adapt to quantized activation distributions during calibration. Experiments on Llama-2 and Llama-3 models from 3B to 70B parameters show that our method achieves competitive or improved performance across perplexity benchmarks and common sense reasoning tasks while avoiding both costly end-to-end training and large offline activation storage.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、大きなメモリフットプリントと高い推論コストのために、デプロイにコストがかかる。
ウェイトアクティベーション量子化はこれらのコストを削減することができるが、アクティベーションアウトレイアが大きな量子化誤差を引き起こすため、低ビットアクティベーション量子化は依然として困難である。
近年の回転法では、次元にわたって活性化の規模を再分配する直交変換を適用することでこの問題に対処しているが、既存の手法では高価なエンドツーエンドの回転訓練を必要とするか、ストアド・アクティベーション・コーパスに頼っている。
LLMアクティベーション量子化のための軽量な後回転校正法を提案する。
本手法は, 正規化活性化と入力されたハイパーキューブの角を整列させる直交回転を学習し, 活性化エネルギーをより均等に次元に分散させる。
この目的は直交 Procrustes 問題による効率的な閉形式更新を認め、直交群に対する勾配に基づく最適化を避ける。
さらに、キャリブレーションサンプルの処理時に回転を更新するオンラインキャリブレーション手順を導入し、ディスク上のアクティベーションを保存する必要をなくし、キャリブレーション中に回転を量子化されたアクティベーション分布に適応できるようにする。
3Bから70BパラメータのLlama-2およびLlama-3モデルに対する実験により,本手法は,コストのかかるエンドツーエンドトレーニングと大規模なオフラインアクティベーションストレージの両方を回避しつつ,複雑度ベンチマークおよび常識推論タスク間での競合的,あるいは改善された性能を実現することを示す。
関連論文リスト
- TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization [15.401450705732232]
ターナライゼーションは有望な圧縮技術として登場した。
既存の方法は重み付き活性化分布に苦しむ。
我々は1.58ビットの重み圧縮と4ビットのアクティベーション量子化を実現するフレームワークであるTWLAを提案する。
論文 参考訳（メタデータ） (2026-06-11T08:37:20Z) - ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation [32.6734400537211]
大規模言語モデル(LLMs)の量子化におけるアクティベーションアウトレーヤの緩和のための有望なソリューションとして、PTQ(Post-Training Quantization)が登場した。
レイヤワイズ変換法が出現し、局所化適応により精度が向上した。
しかし、レイヤワイズ方式では、活性化回転行列を重みに融合することができず、オンライン計算が必要であり、大きなオーバーヘッドを引き起こす。
本稿では、オフライン活性化回転融合とマッチングベースを利用して、そのようなオーバーヘッドを解決する量子化フレームワークReSpinQuantを提案する。
論文 参考訳（メタデータ） (2026-04-13T07:00:26Z) - FreeAct: Freeing Activations for LLM Quantization [89.97086263978058]
量子化は、大規模言語モデルの重要なメモリと計算オーバーヘッドを軽減するために重要である。
FreeActは静的な1対1の制約を緩和し、動的アクティベーションの格差を緩和する新しい量子化フレームワークである。
dLLMとMLLMでの実験では、FreeActはベースラインを大幅に上回り、パフォーマンスは最大5.3%向上した。
論文 参考訳（メタデータ） (2026-03-02T12:02:17Z) - Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization [56.5199302532159]
本稿では, アクティベーション誘導型構造正規化フレームワークを提案する。
Astroは内在的に頑丈な重量を積極的に再構成し、高マグニチュードの活性化に対応する重量の降圧を積極的に抑制する。
Astroは競争力が高く、特にLLaMA-2-7Bでは、量子化時間の1/3近くを持つ複雑な学習ベースの回転法よりも優れた性能を達成している。
論文 参考訳（メタデータ） (2026-02-07T15:50:18Z) - Enhancing Post-Training Quantization via Future Activation Awareness [84.76726857601753]
ポストトレーニング量子化(PTQ)は、大規模言語モデル(LLM)を微調整なしで圧縮する方法として広く用いられている。
本稿では、将来の層活性化を利用して量子化を導出するFuture-Aware Quantization (FAQ)を提案する。
FAQは、後方パス、データ再構成、チューニングを必要とせず、無視できる余分なコストで、従来手法よりも一貫してパフォーマンスを向上する。
論文 参考訳（メタデータ） (2026-01-28T12:03:30Z) - STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization [21.93314755695813]
量子化は、生成AIモデルの推論レイテンシ、電力、メモリフットプリントを低減するための重要な方法である。
テキストシーケンス変換と混合精度(STaMP)量子化を提案する。
論文 参考訳（メタデータ） (2025-10-30T17:53:42Z) - BASE-Q: Bias and Asymmetric Scaling Enhanced Rotational Quantization for Large Language Models [25.783531928577233]
BASE-Qは、偏差補正と非対称スケーリングを組み合わせて、丸め誤差やクリップ誤差を減らす、シンプルながら強力なアプローチである。
実験では、BASE-Qの有効性が示され、精度のギャップは、QuaRot、SpinQuant、OSTQuantと比較して50.5%、42.9%、29.2%縮小した。
論文 参考訳（メタデータ） (2025-05-26T14:22:21Z) - RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。
RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。
その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文 参考訳（メタデータ） (2025-02-13T06:44:33Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳（メタデータ） (2024-10-12T08:10:28Z) - Rotated Runtime Smooth: Training-Free Activation Smoother for accurate INT4 inference [54.2589824716527]
大規模言語モデルは、その大規模なため、相当な計算とメモリ移動コストを発生させる。
既存のアプローチでは、外れ値と通常の値を2つの行列に分けたり、アクティベーションからウェイトに移行したりしています。
Smooth と Rotation 操作からなる量子化のためのプラグ・アンド・プレイ・アクティベーション・スムーザである Rotated Smooth (RRS) を提案する。
提案手法は,LLaMAおよびQwenファミリーにおける最先端の手法より優れており,IF4推論におけるWikiText-2の難易度は57.33から6.66に向上している。
論文 参考訳（メタデータ） (2024-09-30T14:59:22Z) - CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。
LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。
CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文 参考訳（メタデータ） (2023-12-13T07:56:27Z) - Efficient Adaptive Activation Rounding for Post-Training Quantization [18.174377380203033]
トレーニング後の量子化は、量子化されたニューラルネットワークをデプロイする上で便利である。
以前の研究では、重量量子化に適用された場合、最適以下の性質が示されている。
本稿では,アクティベーションのラウンドスキームを調整することで出力誤差を低減するためのAQuantフレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-25T09:02:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。