Fugu-MT 論文翻訳(概要): GyRot: Leveraging Hidden Synergy between Rotation and Fine-grained Group Quantization for Low-bit LLM Inference

論文の概要: GyRot: Leveraging Hidden Synergy between Rotation and Fine-grained Group Quantization for Low-bit LLM Inference

arxiv url: http://arxiv.org/abs/2607.27694v1
Date: Thu, 30 Jul 2026 05:26:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-31 21:37:00.40292
Title: GyRot: Leveraging Hidden Synergy between Rotation and Fine-grained Group Quantization for Low-bit LLM Inference
Title（参考訳）: GyRot:低ビットLDM推論における回転と微細グループ量子化の隠れシナジーの活用
Abstract要約: GyRotは低ビット量子化フレームワークであり、ハードウェアアクセラレータである。 LLaMAファミリーモデル全体で最先端の4ビット精度を実現している。最大3.4倍のスピードアップと3.6倍のエネルギー効率を提供する。
参考スコア（独自算出の注目度）: 0.7122535777902205
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-bit quantization is essential for efficient LLM inference, and both rotation and fine-grained group quantization have shown individual promise. However, their combination often leads to accuracy degradation or hardware overhead due to a mismatch between the global nature of rotation and the localized behavior of group scaling. We propose GyRot, a quantization framework and hardware accelerator that bridges this gap through algorithm-hardware co-design. GyRot introduces Coarse Rotation, Fine Grouping (CoRFiG) and Harmonic-Aligned Permutation (HAP) to enable cooperative integration of rotation and group quantization, enhancing quantizability while relaxing scaling factor precision. To further reduce hardware cost, we reformulate asymmetric quantization and introduce a zero-point rounding strategy that enables fully integer dequantization. Implemented on an INT4-based tensor PE architecture, GyRot achieves state-of-the-art 4-bit accuracy across LLaMA-family models, while delivering up to 3.4x speedup and 3.6x energy efficiency over baseline LLM accelerators. These results validate GyRot's practical effectiveness for scalable and energy-efficient LLM deployment.
Abstract（参考訳）: 低ビット量子化は効率的なLLM推論には不可欠であり、回転と微細なグループ量子化の両方が個々の可能性を示している。しかし、それらの組み合わせは、回転のグローバルな性質とグループスケーリングの局所的な振る舞いのミスマッチにより、精度の低下やハードウェアオーバーヘッドにつながることが多い。本稿では,量子化フレームワークとハードウェアアクセラレータであるGyRotを提案する。 GyRotは、回転とグループ量子化の協調的な統合を可能にするために、粗い回転、微細グループ化(CoRFiG)、高調波整列(Harmonic-Aligned Permutation、HAP)を導入し、スケーリング係数の精度を緩和しながら量子化可能性を高める。ハードウェアコストをさらに削減するため、非対称な量子化を再構成し、完全整数列化を可能にするゼロポイントラウンドリング戦略を導入する。 GyRotはINT4ベースのテンソルPEアーキテクチャに実装され、LLaMAファミリーモデル全体で最先端の4ビット精度を実現し、ベースラインのLLMアクセラレータ上で最大3.4倍のスピードアップと3.6倍のエネルギー効率を提供する。これらの結果は、GyRotのスケーラブルでエネルギー効率のよいLLMデプロイメントにおける実用的有効性を検証する。

関連論文リスト

LightRot: A Light-Weighted Rotation Scheme and Architecture for Accurate Low-Bit Large Language Model Inference [0.7122535777902205]
この研究は、軽量な回転スキームと低ビットLSM推論のための専用ハードウェアアクセラレータであるLightRotを提示する。提案アーキテクチャは,GLR(Grouped Local Rotation)とODA(Outlier Direction Aligning)アルゴリズムを階層的なFHT(Fast Hadamard Transform)ベースのローテーションユニットに統合する。提案した加速器は28nmのCMOSプロセスで実装され、4ビット推論で27.4TOPS/Wのピークエネルギー効率を実現する。
論文参考訳（メタデータ） (2026-07-30T05:39:58Z)
ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation [32.6734400537211]
大規模言語モデル(LLMs)の量子化におけるアクティベーションアウトレーヤの緩和のための有望なソリューションとして、PTQ(Post-Training Quantization)が登場した。レイヤワイズ変換法が出現し、局所化適応により精度が向上した。しかし、レイヤワイズ方式では、活性化回転行列を重みに融合することができず、オンライン計算が必要であり、大きなオーバーヘッドを引き起こす。本稿では、オフライン活性化回転融合とマッチングベースを利用して、そのようなオーバーヘッドを解決する量子化フレームワークReSpinQuantを提案する。
論文参考訳（メタデータ） (2026-04-13T07:00:26Z)
BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文参考訳（メタデータ） (2026-04-05T04:25:07Z)
Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization [56.5199302532159]
本稿では, アクティベーション誘導型構造正規化フレームワークを提案する。 Astroは内在的に頑丈な重量を積極的に再構成し、高マグニチュードの活性化に対応する重量の降圧を積極的に抑制する。 Astroは競争力が高く、特にLLaMA-2-7Bでは、量子化時間の1/3近くを持つ複雑な学習ベースの回転法よりも優れた性能を達成している。
論文参考訳（メタデータ） (2026-02-07T15:50:18Z)
SingleQuant: Efficient Quantization of Large Language Models in a Single Pass [17.504732263852876]
量子化切り離しを分離する単一パス量子化フレームワークであるSingleQuantを提案する。具体的には、SingleQuantはアクティベーションアウトリアをターゲットとしたアライメント回転変換(ART)と統一回転変換(URT)を構築している。実験の結果、SingleQuantは様々なタスクにまたがる選択されたベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2025-11-27T10:46:39Z)
SmoothRot: Combining Channel-Wise Scaling and Rotation for Quantization-Friendly LLMs [0.0]
SmoothRotは、大規模言語モデル(LLM)における4ビット量子化の効率を高めるための、新しい学習後の量子化手法である。本手法は,極端外れ値から量子化フレンドリなアクティベーションへと効果的に変換し,量子化精度を大幅に向上させる。
論文参考訳（メタデータ） (2025-06-04T19:07:45Z)
Taming LLMs by Scaling Learning Rates with Gradient Grouping [49.91587150497186]
大きな言語モデル(LLM)のトレーニングは、その大規模で異質なアーキテクチャのため、課題を提起する。 SGG(Scaling with Gradient Grouping)は、動的グルーピングとグループ固有のスケーリングによる適応的な学習率推定を改善するグラデーションラッパーである。
論文参考訳（メタデータ） (2025-06-01T15:30:37Z)
BASE-Q: Bias and Asymmetric Scaling Enhanced Rotational Quantization for Large Language Models [25.783531928577233]
BASE-Qは、偏差補正と非対称スケーリングを組み合わせて、丸め誤差やクリップ誤差を減らす、シンプルながら強力なアプローチである。実験では、BASE-Qの有効性が示され、精度のギャップは、QuaRot、SpinQuant、OSTQuantと比較して50.5%、42.9%、29.2%縮小した。
論文参考訳（メタデータ） (2025-05-26T14:22:21Z)
RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文参考訳（メタデータ） (2025-02-13T06:44:33Z)
SpinQuant: LLM quantization with learned rotations [49.07335692298487]
重み、アクティベーション、KVキャッシュに適用された後トレーニング量子化(PTQ)技術は、大規模言語モデル(LLM)のメモリ使用量、レイテンシ、消費電力を大幅に削減する。我々は、量子化精度を高めつつ、完全精度のトランスフォーマーアーキテクチャにおいて同一の出力をもたらす、適用可能な回転パラメータ化の集合を同定する。本研究では,学習した回転行列を最適な量子化ネットワーク精度に組み込む新しい手法であるSpinQuantを提案する。
論文参考訳（メタデータ） (2024-05-26T02:15:49Z)
On the Robustness of Multi-View Rotation Averaging [77.09542018140823]
解法に$epsilon$-cycle整合項を導入する。重み低減による誤測定の負の効果を暗黙的に抑制する。実験の結果,提案手法は様々なベンチマークで芸術の状況よりも優れていた。
論文参考訳（メタデータ） (2021-02-09T05:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。