論文の概要: EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture

• arxiv url: http://arxiv.org/abs/2605.24144v1
• Date: Fri, 22 May 2026 19:06:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.649396
• Title: EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture
• Title（参考訳）: EVA: 効率的なベクトル量子化アーキテクチャによるLCMデコーディングの高速化
• Authors: Bowen Duan, Cong Guo, Chiyue Wei, Haoxuan Shan, Yuzhe Fu, Xinhua Chen, Yifan Xu, Ziyue Zhang, Changchun Zhou, Hai Li, Yiran Chen,
• Abstract要約: EVAは、インプット-コードブック計算とコンフリクトフリーメモリアクセスを組み合わせた、シンプルだが効果的な洞察の上に構築されている。 EVAは、SOTAルックアップベースのアーキテクチャと比較して、最大で11.17$times$スピードアップと7.17$times$高効率を実現している。
• 参考スコア（独自算出の注目度）: 13.194852545534822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved impressive performance across diverse domains but remain inefficient during the autoregressive decoding phase. Unlike the prefill stage, which employs compute-bound GEMM operations, decoding executes a sequence of small GEMV-like computations that are memory-bound and underutilize modern accelerators. Weight-only vector quantization (VQ) has emerged as an effective compression technique that clusters model weights into a shared codebook and replaces the original weight matrix with low-precision indices, enabling 2-bit-level weight compression. While this approach substantially reduces model size and memory bandwidth, it still suffers from two critical inefficiencies: the low utilization of GEMV computation and frequent memory conflicts during codebook lookups. This paper presents EVA, an efficient vector-quantization-based architecture that addresses both computational and memory bottlenecks in LLM decoding. EVA builds on a simple yet effective insight that combines input-codebook computation with conflict-free memory access. Instead of reconstructing quantized weights from indices, EVA directly performs dot products between input vectors and the weight codebook, transforming LLM decoding from GEMV to GEMM computation. It then performs structured lookups from an intermediate output buffer, eliminating memory bank conflicts. We further design a hardware-software co-optimized architecture specialized for LLM decoding while remaining compatible with conventional prefill execution. Evaluations show that EVA achieves up to 11.17$\times$ speedup and 7.17$\times$ higher energy efficiency compared with the SOTA lookup-based architecture, while preserving arithmetic precision after vector quantization. Our code is available at https://github.com/dbw6/Eva.git.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なドメインで優れたパフォーマンスを達成しているが、自己回帰復号フェーズでは非効率である。 計算バウンドなGEMM演算を使用するプリフィルステージとは異なり、デコードでは、メモリバウンドで現代のアクセラレータを未使用の、小さなGEMVライクな計算のシーケンスを実行する。 重みのみベクトル量子化(VQ)は、共有コードブックに重みをクラスタリングし、元の重み行列を低精度の指標に置き換え、2ビットレベルの重み圧縮を可能にする効果的な圧縮手法として登場した。 このアプローチはモデルサイズとメモリ帯域幅を大幅に削減するが、GEMV計算の低利用とコードブックのルックアップ時の頻繁なメモリ競合という2つの重要な非効率に悩まされている。 本稿では,LLMデコーディングにおける計算とメモリのボトルネックに対処する,効率的なベクトル量子化に基づくアーキテクチャであるEVAを提案する。 EVAは、インプット-コードブック計算とコンフリクトフリーメモリアクセスを組み合わせた、シンプルだが効果的な洞察の上に構築されている。 インデックスから量子化重みを再構成する代わりに、EVAは直接入力ベクトルと重みコードブック間のドット積を実行し、LLMデコーディングをGEMVからGEMM計算に変換する。 その後、中間出力バッファから構造化されたルックアップを実行し、メモリバンクの競合を取り除く。 さらに,従来のプリフィル実行と互換性を維持しつつ,LCM復号化に特化したハードウェア・ソフトウェア協調最適化アーキテクチャを設計する。 EVAは、ベクトル量子化後の算術精度を保ちながら、SOTAのルックアップベースのアーキテクチャと比較して最大11.17$\times$スピードアップと7.17$\times$高エネルギー効率を達成する。 私たちのコードはhttps://github.com/dbw6/Eva.git.comから入手可能です。

関連論文リスト

• Compiling Code LLMs into Lightweight Executables [18.677096682203697]
  Dittoは、コードLLMのモデルサイズと推論プログラムの両方を最適化する新しい方法である。 私たちは、Dittoを3つの人気のあるコードLLMで評価し、元の推論パイプラインと比較して最大10.5$times$低いメモリ使用量を達成しました。
  論文  参考訳（メタデータ） (2026-03-31T14:40:19Z)
• SBVR: Summation of BitVector Representation for Efficient LLM Quantization [3.7018544730078413]
  データ中の表現可能な点の数を制限することで量子化圧縮は、効率的な量子化の鍵となる。 既存のPTQ(Post-Training Quantization)ソリューションでは、ラウンドツーネアレス(RTN)ベースの方法とコードブックベースの方法の2つの主要なアプローチが採用されている。 SBVR(Summation of Bitplex Representation, ビットプレックス表現の要約)を提案する。
  論文  参考訳（メタデータ） (2025-09-17T13:51:27Z)
• Decoder-Hybrid-Decoder Architecture for Efficient Reasoning with Long Generation [108.0657508755532]
  我々は、レイヤ間の効率的なメモリ共有のためのシンプルで効果的なメカニズムであるGated Memory Unit(GMU)を紹介した。 これは、GMUを組み込んでSambaベースのセルフデコーダからメモリ読み出し状態を共有するデコーダ・ハイブリッド・デコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2025-07-09T07:27:00Z)
• BTC-LLM: Efficient Sub-1-Bit LLM Quantization via Learnable Transformation and Binary Codebook [20.89001326838199]
  本稿では,新しいサブ1ビット大規模言語モデル(LLM)の量子化フレームワークであるBTC-LLMを提案する。 提案手法は,(1)非可逆スケーリングと回転を最適化し,二項化重みを完全精度分布に整合させる学習可能な変換,(2)繰り返し発生するバイナリベクトルクラスタを識別するFlashおよび精度の高いバイナリコードブックである。
  論文  参考訳（メタデータ） (2025-05-24T03:57:19Z)
• MVQ:Towards Efficient DNN Compression and Acceleration with Masked Vector Quantization [8.057807176915896]
  限られた数のコードワードで重要な重みをよりよく近似することを目的としたMVQと呼ばれる新しいアプローチが提案されている。 本アルゴリズムは,画像分類,オブジェクト検出,セグメンテーションタスクの様々なモデルで検証される。 ASIC評価では, MVQ加速器はエネルギー効率を2.3$times$で向上し, ベースEWS加速器と比較してサイストリックアレイのサイズを55%削減する。
  論文  参考訳（メタデータ） (2024-12-13T16:30:35Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。