論文の概要: Efficient Edge LLMs Deployment via HessianAware Quantization and CPU GPU Collaborative

• arxiv url: http://arxiv.org/abs/2508.07329v1
• Date: Sun, 10 Aug 2025 12:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.812033
• Title: Efficient Edge LLMs Deployment via HessianAware Quantization and CPU GPU Collaborative
• Title（参考訳）: Hessian Aware量子化とCPU GPUコラボレーションによるエッジLLMの効率的なデプロイ
• Authors: Tuo Zhang, Ning Li, Xin Yuan, Wenchao Xu, Quan Chen, Song Guo, Haijun Zhang,
• Abstract要約: Mixture of Experts (MoE)アーキテクチャは、スパースアクティベーションによってモデルのキャパシティを向上させる。 MoEは実践的な展開において2つの大きな困難に直面している。 メモリ制限下では、専門家モジュールの効率的なオフロードと協調的な推論は、レイテンシとスループットのバランスをとるのに苦労する。 本稿では,Hessian-Aware Quantization (HAQ)とCPU-GPU協調推論に基づく効率的なMoEエッジ配置方式を提案する。
• 参考スコア（独自算出の注目度）: 31.74122603714625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the breakthrough progress of large language models (LLMs) in natural language processing and multimodal tasks, efficiently deploying them on resource-constrained edge devices has become a critical challenge. The Mixture of Experts (MoE) architecture enhances model capacity through sparse activation, but faces two major difficulties in practical deployment: (1) The presence of numerous outliers in activation distributions leads to severe degradation in quantization accuracy for both activations and weights, significantly impairing inference performance; (2) Under limited memory, efficient offloading and collaborative inference of expert modules struggle to balance latency and throughput. To address these issues, this paper proposes an efficient MoE edge deployment scheme based on Hessian-Aware Quantization (HAQ) and CPU-GPU collaborative inference. First, by introducing smoothed Hessian matrix quantization, we achieve joint 8-bit quantization of activations and weights, which significantly alleviates the accuracy loss caused by outliers while ensuring efficient implementation on mainstream hardware. Second, we design an expert-level collaborative offloading and inference mechanism, which, combined with expert activation path statistics, enables efficient deployment and scheduling of expert modules between CPU and GPU, greatly reducing memory footprint and inference latency. Extensive experiments validate the effectiveness of our method on mainstream large models such as the OPT series and Mixtral 8*7B: on datasets like Wikitext2 and C4, the inference accuracy of the low-bit quantized model approaches that of the full-precision model, while GPU memory usage is reduced by about 60%, and inference latency is significantly improved.
• Abstract（参考訳）: 自然言語処理やマルチモーダルタスクにおける大規模言語モデル(LLM)のブレークスルーにより、リソース制約されたエッジデバイスにそれらを効率的にデプロイすることが重要な課題となっている。 ミキチャー・オブ・エキスパートズ(MoE)アーキテクチャは、スパース・アクティベーションを通じてモデルのキャパシティを向上するが、(1)アクティベーション分布における多数のアウトレーヤの存在は、アクティベーションとウェイトの両方の量子化精度を著しく低下させ、推論性能を著しく損なう。 これらの問題に対処するために,Hessian-Aware Quantization (HAQ)とCPU-GPU協調推論に基づく効率的なMoEエッジ配置方式を提案する。 まず、スムーズなヘッセン行列量子化を導入することで、アクティベーションと重みのジョイント8ビット量子化を実現する。 第2に、専門家レベルの協調的なオフロードと推論機構を設計し、専門家のアクティベーションパス統計と組み合わせて、CPUとGPU間のエキスパートモジュールの効率的なデプロイとスケジューリングを可能にし、メモリフットプリントと推論レイテンシを大幅に削減する。 Wikitext2やC4のようなデータセットでは、低ビット量子化モデルの推論精度が完全精度モデルに近づき、GPUメモリ使用率が約60%削減され、推論レイテンシが大幅に向上する。

関連論文リスト

• QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge [55.75103034526652]
  ASIC のハードウェアアクセラレーションによる MDE モデルの定量化を後学習量子化に応用した QuartDepth を提案する。 提案手法では,重みとアクティベーションの両方を4ビット精度で定量化し,モデルサイズと計算コストを削減する。 我々は、カーネル融合とカスタマイズされた命令プログラム性をサポートすることにより、フレキシブルでプログラム可能なハードウェアアクセラレータを設計する。
  論文  参考訳（メタデータ） (2025-03-20T21:03:10Z)
• MixPE: Quantization and Hardware Co-design for Efficient LLM Inference [16.42907854119748]
  MixPEは、大規模言語モデルにおける効率的な低ビット量子化のために設計された、特殊な混合精度処理素子である。 我々は、MixPEが最先端の量子化アクセラレータを2.6倍のスピードアップと1.4倍のエネルギー削減で超えることを示した。
  論文  参考訳（メタデータ） (2024-11-25T07:34:53Z)
• OutlierTune: Efficient Channel-Wise Quantization for Large Language Models [24.645237670811476]
  OutlierTuneは、大規模言語モデルのアクティベーションのための効率的なチャネルごとのポストトレーニング量子化手法である。 提案するフレームワークは実装が容易で、ハードウェア効率が良く、推論中に計算オーバーヘッドがほとんど発生しない。
  論文  参考訳（メタデータ） (2024-06-27T02:02:26Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only Quantization for LLMs [9.072821427818557]
  大規模言語モデル(LLM)は、様々な言語タスクで最先端のパフォーマンスを達成しているが、実用的なデプロイメントには課題がある。 メモリ消費を削減し,LLMの推論を高速化する,効率的な重みのみの量子化法を提案する。 我々は,OPT-175Bや内部MoEモデルのような大規模オープンソースモデルに対するアプローチを評価し,スループットを最大3.65倍に向上しながら,最小限の精度の損失を示す。
  論文  参考訳（メタデータ） (2023-08-16T23:57:41Z)
• LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Generative Language Models [9.727062803700264]
  量子化行列乗算のための効率的なカーネルであるLUT-GEMMを紹介する。 LUT-GEMMは資源集約化プロセスを取り除き、計算コストを削減する。 我々は,3ビット量子化を用いたOPT-175Bモデルに適用した場合,LUT-GEMMはトークン生成遅延を大幅に高速化することを示した。
  論文  参考訳（メタデータ） (2022-06-20T03:48:17Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。