論文の概要: HBQ: Hierarchical Scaling Block Quantization with Hardware-Efficiency-Aware Design for Accurate LLM Inference

• arxiv url: http://arxiv.org/abs/2609.00450v1
• Date: Mon, 31 Aug 2026 22:39:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.12093
• Title: HBQ: Hierarchical Scaling Block Quantization with Hardware-Efficiency-Aware Design for Accurate LLM Inference
• Title（参考訳）: HBQ:ハードウェア効率を考慮した正確なLCM推論のための階層的スケーリングブロック量子化
• Abstract要約: Block Quantization (BQ)は、大規模言語モデル(LLM)の効率的なデプロイのための有望なアプローチである。 設計空間探索(DSE)によるハードウェア/ベンチマーク結果を提供する。 従来の方法とは異なり、HBQは効率を最大化するために大きなブロックを使用し、第2レベルの量子化のために低オーバヘッド(SIG)スケーリングを導入している。
• 参考スコア（独自算出の注目度）: 7.536720045445626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Block Quantization (BQ) is a promising approach for efficient deployment of large language models (LLMs), enabling low-precision computation with controlled accuracy degradation. Compared to scalar weight-only quantization (WoQ), BQ quantizes both weight and activation, offering higher hardware efficiency and end-to-end inference on a unified datapath, but its design space, spanning bit-width, block size, scaling, and numeric formats, remains underexplored. We provide hardware/benchmark results through design space exploration (DSE). We find that increasing block size improves hardware efficiency by amortizing dequantization and accumulation costs, but degrades accuracy. This trade-off limits conventional BQ methods. Motivated by this insight, we propose Hierarchical Block Quantization (HBQ). Unlike prior methods [1], [2], which use small blocks and conventional Power-of-Two (PoT) or integer-based scaling, HBQ uses large blocks to maximize efficiency and introduces low-overhead significand (SIG) scaling for second-level quantization. By allocating quantization levels effectively and accounting for distinct activation and weight distributions, SIG scaling compensates for large-block errors more effectively than prior PoT and INT schemes. HBQ-A (accurate) achieves W4A16-level accuracy using only W4A5 while requiring less silicon area than NVFP4. HBQ-E (efficient) further reduces hardware cost by 17% while maintaining higher accuracy than all existing BQ methods. We implemented a 28nm ASIC accelerator applying HBQ to weights, activations, and KV cache, and integrated a novel partial-sum BQ scheme to further reduce EMA energy. Compared to state-of-the-art WoQ, HBQ delivers $2.3\times$/$4.6\times$ higher area/energy efficiency at the same accuracy level; $1.6$--$3.3\times$ system energy reduction and $1.5$--$3.0\times$ speedup over prior BQ methods while providing best accuracy.
• Abstract（参考訳）: ブロック量子化(BQ)は、大規模言語モデル(LLM)の効率的なデプロイのための有望なアプローチである。 スカラーウェイトのみの量子化(WoQ)と比較して、BQはウェイトとアクティベーションの両方を定量化し、ハードウェア効率と統一データパスのエンドツーエンド推論を提供するが、その設計空間はビット幅、ブロックサイズ、スケーリング、数値フォーマットにまたがっている。 設計空間探索(DSE)によるハードウェア/ベンチマーク結果を提供する。 ブロックサイズの増加は,復調や蓄積コストの低減によってハードウェア効率を向上するが,精度は低下する。 このトレードオフは、従来のBQメソッドを制限します。 この知見により,階層的ブロック量子化(HBQ)を提案する。 小さなブロックと従来のPower-of-Two(PoT)や整数ベースのスケーリングを使用する従来の方法[1]や[2]とは異なり、HBQは大きなブロックを使用して効率を最大化し、第2レベルの量子化のための低オーバヘッド符号(SIG)スケーリングを導入する。 量子化レベルを効果的に割り当て、異なるアクティベーションとウェイト分布を考慮することで、SIGスケーリングは、以前のPoTやINTスキームよりも効率的に大きなブロックエラーを補償する。 HBQ-A(精度)は、NVFP4よりもシリコン面積を少なくしながらW4A5のみを使用してW4A16レベルの精度を達成する。 HBQ-E(効率)は、既存のすべてのBQメソッドよりも高い精度を維持しながら、ハードウェアコストを17%削減する。 重み,アクティベーション,KVキャッシュにHBQを適用した28nmASICアクセラレータを実装した。 最先端のWoQと比較して、HBQは2.3\times$/4.6\times$高域/エネルギー効率を同じ精度で、$1.6$--$3.3\times$システムエネルギー削減と$1.5$-$3.0\times$以前のBQ手法よりも高速で提供する。

関連論文リスト

• Minimizing the Hidden Cost of Scales: Graph-Guided Ultra-Low-Bit Quantization for Large Language Models [50.16014098038291]
  学習後量子化(PTQ)は,大規模言語モデル(LLM)の効率的な展開に重要である 隠れスケーリングコストを最小限に抑えるLLMのための超低ビット量子化フレームワークであるSAGE-PTQを提案する。 LLaMA-3B では、SAGE-PTQ は BiLLM の 55.8 と比較して 6.74 WikiText2 のパープレキシティを実現している。
  論文  参考訳（メタデータ） (2026-06-03T20:51:52Z)
• LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
  ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。 LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-05-28T11:02:23Z)
• EQE-QAOA: An Equivalence-Preserving Qubit Efficient Framework for Combinatorial Optimization [54.05451096499336]
  既存の技術は情報損失のコストで量子ビットの削減に依存しており、計算性能は劣化している。 等価保存量子ビット効率QAOAを提案し、性能を劣化させることなく必要なキュービット数を著しく削減する。 完全独立変数を持つ非制約問題を除いて,大規模最適化問題に広く適用可能であることを示す。
  論文  参考訳（メタデータ） (2026-04-20T13:57:49Z)
• ScaleBITS: Scalable Bitwidth Search for Hardware-Aligned Mixed-Precision LLMs [14.073708409982705]
  学習後重み量子化は,大規模言語モデル(LLM)のメモリと推論コストの低減に不可欠である 本研究では,メモリ予算下でのビット幅の自動割り当てを実現する混合精度量子化フレームワークであるScaleBITSを提案する。 実験により、ScaleBITSは均一精度の量子化(+36%)よりも大幅に改善し、超低ビット状態における最先端の感度認識ベースライン(+13%)よりも優れていた。
  論文  参考訳（メタデータ） (2026-02-06T18:11:16Z)
• D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs [33.883527341335856]
  軽量後トレーニング量子化(PTQ)は、メモリ使用量を減らし、低ビット演算子や専用ハードウェアを使わずに実用的なスピードアップを可能にするため、魅力的である。 精度は、重量のみのPTQにおいて、サブ-4ビットの精度で著しく低下する。 D$2$Quantは、ウェイトとアクティベーションの両方の観点から量子化を改善する新しいウェイトオンリーのPTQフレームワークである。
  論文  参考訳（メタデータ） (2026-01-30T05:49:48Z)
• ELUTQ: Efficient LUT-Aware Quantization for Deploying Large Language Models on Edge Devices [3.465218658690795]
  CPUベースのエッジデバイス上の大規模言語モデル(LLM)は、デバイス上のインテリジェンスの実現とAIアクセシビリティの拡大に不可欠である。 我々は,新しい量子化形式である階層線形量子化(HLQ)を導入した効率的な量子化フレームワークELUTQを提案する。 HLQは計算コストを増大させることなく、重量の統計特性をよりよく捉える。 LLaMA3-8Bの場合、HLQは3ビットで約8%、2ビット精度で約85%のパープレキシティを減少させる。
  論文  参考訳（メタデータ） (2025-10-22T11:20:47Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• FineQ: Software-Hardware Co-Design for Low-Bit Fine-Grained Mixed-Precision Quantization of LLMs [13.951330786310262]
  FineQは、ソフトウェアとハードウェアの共同設計であり、大規模言語モデルの低ビット細粒度混合精度量子化のための設計である。 重みをよりきめ細かいクラスタに分割し、これらのクラスタ内の外れ値の分布を考慮する。 近似平均ビット幅でのSOTA混合精度量子化アルゴリズムと比較してモデル精度が向上する。
  論文  参考訳（メタデータ） (2025-04-28T12:47:23Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。