論文の概要: HALO: Hardware-aware quantization with low critical-path-delay weights for LLM acceleration

• arxiv url: http://arxiv.org/abs/2502.19662v2
• Date: Fri, 25 Apr 2025 09:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 18:47:07.446771
• Title: HALO: Hardware-aware quantization with low critical-path-delay weights for LLM acceleration
• Title（参考訳）: HALO:LLM加速のための低臨界パス遅延重み付きハードウェア対応量子化
• Authors: Rohan Juneja, Shivam Aggarwal, Safeen Huda, Tulika Mitra, Li-Shiuan Peh,
• Abstract要約: ハードウェア・アウェア・ポスト・トライニング・量子化(PTQ)のための汎用フレームワークHALO 従来の方法とは異なり、HALOはクリティカルパスのタイミングや消費電力など、ハードウェアの詳細な特徴を明示的に取り入れている。 ベースライン量子化法では, 平均270%, 51%の省エネ性能が向上した。
• 参考スコア（独自算出の注目度）: 5.88033624474104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization is critical for efficiently deploying large language models (LLMs). Yet conventional methods remain hardware-agnostic, limited to bit-width constraints, and do not account for intrinsic circuit characteristics such as the timing behaviors and energy profiles of Multiply-Accumulate (MAC) units. This disconnect from circuit-level behavior limits the ability to exploit available timing margins and energy-saving opportunities, reducing the overall efficiency of deployment on modern accelerators. To address these limitations, we propose HALO, a versatile framework for Hardware-Aware Post-Training Quantization (PTQ). Unlike traditional methods, HALO explicitly incorporates detailed hardware characteristics, including critical-path timing and power consumption, into its quantization approach. HALO strategically selects weights with low critical-path-delays enabling higher operational frequencies and dynamic frequency scaling without disrupting the architecture's dataflow. Remarkably, HALO achieves these improvements with only a few dynamic voltage and frequency scaling (DVFS) adjustments, ensuring simplicity and practicality in deployment. Additionally, by reducing switching activity within the MAC units, HALO effectively lowers energy consumption. Evaluations on accelerators such as Tensor Processing Units (TPUs) and Graphics Processing Units (GPUs) demonstrate that HALO significantly enhances inference efficiency, achieving average performance improvements of 270% and energy savings of 51% over baseline quantization methods, all with minimal impact on accuracy.
• Abstract（参考訳）: 量子化は、大きな言語モデル(LLM)を効率的にデプロイするために重要である。 しかし、従来の手法はハードウェアに依存しず、ビット幅の制約に制限されており、Multiply-Accumulate (MAC) ユニットのタイミング挙動やエネルギー分布などの固有の回路特性は考慮していない。 この回路レベルの動作からの切り離しにより、利用可能なタイミングマージンと省エネルギーの機会を利用する能力が制限され、現代の加速器への展開の全体的な効率が低下する。 これらの制約に対処するため,ハードウェア・アウェア・ポスト・トライニング・量子化(PTQ)のための汎用フレームワークであるHALOを提案する。 従来の方法とは異なり、HALOはクリティカルパスのタイミングや消費電力など詳細なハードウェア特性を量子化アプローチに明示的に組み込んでいる。 HALOは、アーキテクチャのデータフローを中断することなく、高い運用周波数と動的周波数スケーリングを可能にする、低臨界パス遅延の重みを戦略的に選択する。 HALOは、いくつかの動的電圧と周波数スケーリング(DVFS)調整でこれらの改善を実現し、デプロイの単純さと実用性を確保する。 さらに、MACユニット内のスイッチング活性を減少させることで、HALOはエネルギー消費を効果的に減少させる。 テンソルプロセッシングユニット(TPU)やグラフィックスプロセッシングユニット(GPU)などのアクセラレーターの評価では、HALOは推論効率を著しく向上し、ベースライン量子化法よりも平均性能を270%向上し、51%の省エネを実現している。

関連論文リスト

• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• LLMPi: Optimizing LLMs for High-Throughput on Raspberry Pi [0.48212500317840945]
  Raspberry Piのようなリソース制約のあるエッジデバイス上の大規模言語モデル(LLM)は、計算効率、消費電力、レスポンスレイテンシの課題を提示している。 本稿では,低消費電力組込みシステム上でのLLMの高スループット・エネルギー効率実行を実現するために,量子化に基づく最適化手法について検討する。 我々の発見は、エッジデバイス上でリアルタイムの対話型AIのための量子LLMの可能性を強調し、モバイルおよび組み込みアプリケーションにおける低消費電力で高効率なAIデプロイメントの道を開いた。
  論文  参考訳（メタデータ） (2025-04-02T20:29:39Z)
• QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge [55.75103034526652]
  ASIC のハードウェアアクセラレーションによる MDE モデルの定量化を後学習量子化に応用した QuartDepth を提案する。 提案手法では,重みとアクティベーションの両方を4ビット精度で定量化し,モデルサイズと計算コストを削減する。 我々は、カーネル融合とカスタマイズされた命令プログラム性をサポートすることにより、フレキシブルでプログラム可能なハードウェアアクセラレータを設計する。
  論文  参考訳（メタデータ） (2025-03-20T21:03:10Z)
• FBQuant: FeedBack Quantization for Large Language Models [13.545647487024864]
  自動制御における負のフィードバック機構にインスパイアされた新しいアプローチであるFeedBack Quantization (FBQuant)を提案する。 FBQuantは本質的に、再構成された重量が量子化によって束縛されることを保証し、過剰適合のリスクを低減する。 3ビットのLlama2-7Bでは、FBQuantはゼロショット精度を1.2%向上させる。
  論文  参考訳（メタデータ） (2025-01-25T06:04:07Z)
• USEFUSE: Utile Stride for Enhanced Performance in Fused Layer Architecture of Deep Neural Networks [0.6435156676256051]
  本研究では,低レイテンシ左から右へのビットシリアル演算を用いた畳み込みのためのSum-of-Products (SOP)ユニットを提案する。 有効メカニズムは、ReLU層の後、非効率な畳み込みを検出し、スキップし、消費電力を最小化する。 ひとつはミッションクリティカルなアプリケーションの応答時間を最小限にすること、もうひとつはリソースに制約のあるデバイスに同じレイテンシでフォーカスすることである。
  論文  参考訳（メタデータ） (2024-12-18T11:04:58Z)
• MixPE: Quantization and Hardware Co-design for Efficient LLM Inference [16.42907854119748]
  MixPEは、大規模言語モデルにおける効率的な低ビット量子化のために設計された、特殊な混合精度処理素子である。 我々は、MixPEが最先端の量子化アクセラレータを2.6倍のスピードアップと1.4倍のエネルギー削減で超えることを示した。
  論文  参考訳（メタデータ） (2024-11-25T07:34:53Z)
• MobileQuant: Mobile-friendly Quantization for On-device Language Models [31.75012542498791]
  大規模言語モデル(LLM)は言語処理に革命をもたらし、複数のアプリケーションにまたがって優れた結果をもたらしている。 エッジデバイスにLSMをデプロイすることは、メモリ、エネルギ、計算コストに関していくつかの課題をもたらす。 我々は、従来の重み等価変換作業を拡張する、MobileQuantと呼ばれる単純な後学習量子化手法を導入する。
  論文  参考訳（メタデータ） (2024-08-25T20:41:22Z)
• BoA: Attention-aware Post-training Quantization without Backpropagation [11.096116957844014]
  トレーニング後の量子化(PTQ)は、リソース制約のあるデバイスに大規模言語モデル(LLM)をデプロイするための有望なソリューションである。 階層間依存関係を考慮し整数重みを最適化する新しいバックプロパゲーションフリーPTQアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-19T11:53:21Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
  本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。 このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
  論文  参考訳（メタデータ） (2024-05-01T17:18:46Z)
• EdgeQAT: Entropy and Distribution Guided Quantization-Aware Training for the Acceleration of Lightweight LLMs on the Edge [40.85258685379659]
  トレーニング後の量子化(PTQ)メソッドは、ウェイト、アクティベーション、KVキャッシュを同時に8ビット以下に定量化する際に品質が低下する。 多くのQAT(Quantization-Aware Training)は、モデルウェイトを定量化し、アクティベーションを未修正のまま残し、エッジ上の推論加速度の量子化の可能性を完全に活用しない。 We propose EdgeQAT, the Entropy and Distribution Guided QAT for the optimization of light LLMs to achieve inference acceleration on Edge devices。
  論文  参考訳（メタデータ） (2024-02-16T16:10:38Z)
• QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models [85.02796681773447]
  量子化対応低ランク適応(QA-LoRA)アルゴリズムを提案する。 その動機は量子化と適応の自由の不均衡度にある。 QA-LoRAは数行のコードで簡単に実装できる。
  論文  参考訳（メタデータ） (2023-09-26T07:22:23Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration [54.692405042065815]
  LLM低ビット量のみの量子化のためのハードウェアフレンドリーなアプローチであるActivation-Aware Weight Quantization (AWQ)を提案する。 AWQ は 1% の正重みしか保護せず,命令調整型 LM とマルチモーダル LM の量子化性能に優れる。 また,4ビットオンデバイスLLM/VLMに適した,効率的なフレキシブルな推論フレームワークであるTinyChatを実装した。
  論文  参考訳（メタデータ） (2023-06-01T17:59:10Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
  BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
  論文  参考訳（メタデータ） (2020-11-28T19:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。