論文の概要: E8-QAT: Efficient 2-Bit Quantization-Aware Training with Implicit Lattice Codebooks

• arxiv url: http://arxiv.org/abs/2610.27699v1
• Date: Tue, 20 Oct 2026 06:17:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.670642
• Title: E8-QAT: Efficient 2-Bit Quantization-Aware Training with Implicit Lattice Codebooks
• Title（参考訳）: E8-QAT: 効率的な2ビット量子化-不必要な格子コードブックによる学習
• Abstract要約: 暗黙の8次元コードブックとしてE_8$格子を用いた2ビット量子化対応トレーニングフレームワークであるE8-QATを提案する。 2ビットコアエンコーディングとスパース拡張は、選択された格子点を正確に保存し、コアインデックスストレージに0.1%未満を加算する。 E8-QATは、IFEvalで2.03%、LiveCodeBenchで1.51%、同じデータ、スケジュール、ビット幅で最先端のベースラインを改善する。
• 参考スコア（独自算出の注目度）: 19.85532382494915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-bit quantization reduces the memory footprint of large language models, but preserving accuracy with efficient training remains challenging. Scalar quantization encodes weights independently, while explicit-codebook vector quantization introduces costly search during training. We propose E8-QAT, a 2-bit quantization-aware training framework that uses the $E_8$ lattice as an implicit eight-dimensional codebook. It jointly quantizes weight groups through arithmetic projection without storing or searching an explicit codebook during the training forward pass. A 2-bit core encoding and sparse extension preserve the selected lattice points exactly, adding less than 0.1\% to core index storage. On Qwen3.6-35B-A3B, E8-QAT matches the performance of the full-precision model in terms of the average score across the four tasks. E8-QAT improves over the state-of-the-art baseline by 2.03\% on IFEval and by 1.51\% on LiveCodeBench, under the same data, schedule, and bit width. The 2-bit representation reduces peak memory by 80\% and supports a $4\times$ larger batch. At each representation's largest feasible batch, E8-QAT reaches $1.97\times$ the decoding throughput of BF16.
• Abstract（参考訳）: 低ビット量子化は大きな言語モデルのメモリフットプリントを減少させるが、効率的なトレーニングで精度を保つことは依然として困難である。 スカラー量子化はウェイトを独立にエンコードするが、明示的なコードブックベクトル量子化はトレーニング中に高価な検索を導入する。 暗黙の8次元コードブックとしてE_8$格子を用いた2ビット量子化対応トレーニングフレームワークであるE8-QATを提案する。 トレーニングフォワードパス中に明示的なコードブックを格納したり検索したりすることなく、算術的プロジェクションを通じて重み群を共同で定量化する。 2ビットコア符号化とスパース拡張は、選択された格子点を正確に保存し、コアインデックスストレージに0.1\%未満を加算する。 Qwen3.6-35B-A3Bでは、E8-QATは4つのタスクの平均スコアでフル精度モデルのパフォーマンスと一致する。 E8-QATは、IFEvalでは2.03\%、LiveCodeBenchでは1.51\%、同じデータ、スケジュール、ビット幅で最先端のベースラインを改善する。 2ビット表現はピークメモリを80\%削減し、より大きなバッチで4\times$4\timesをサポートする。 各表現の最大の実行可能バッチでは、E8-QATはBF16の復号スループットに対して1.97\timesである。

関連論文リスト

• ELUTQ: Efficient LUT-Aware Quantization for Deploying Large Language Models on Edge Devices [3.465218658690795]
  CPUベースのエッジデバイス上の大規模言語モデル(LLM)は、デバイス上のインテリジェンスの実現とAIアクセシビリティの拡大に不可欠である。 我々は,新しい量子化形式である階層線形量子化(HLQ)を導入した効率的な量子化フレームワークELUTQを提案する。 HLQは計算コストを増大させることなく、重量の統計特性をよりよく捉える。 LLaMA3-8Bの場合、HLQは3ビットで約8%、2ビット精度で約85%のパープレキシティを減少させる。
  論文  参考訳（メタデータ） (2025-10-22T11:20:47Z)
• Binary Quantization For LLMs Through Dynamic Grouping [13.578307208515819]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクで顕著なパフォーマンスを示している。 16ビットのBrain Floatから-1,1の1ビットの表現にモデル重みを圧縮するバイナリ量子化は、ストレージと推論コストを大幅に削減する。 本稿では,2値量子化に適した新しい最適化目標と,これを効果的に実現するための3つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-03T06:36:21Z)
• Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design [34.04231165571518]
  投機的復号化と量子化は、大きな言語モデルのメモリバウンド推論を効果的に加速する。 量子化は、重みとアクティベーションを低ビット幅に圧縮することでこれを達成し、低ビット行列乗算による計算を減らす。 実験により、4ビットの重み量子化によるメモリの利点は、投機的復号化による計算負荷によって減少することが示された。
  論文  参考訳（メタデータ） (2025-05-28T09:55:08Z)
• Towards Accurate and Efficient Sub-8-Bit Integer Training [24.853958178296587]
  量子化は、ニューラルネットワークトレーニングにおける低ビット幅フォーマットを可能にする。 最近の手法では、量子化器上での新しいデータフォーマットと追加の事前処理操作が開発されている。 高い精度と効率を同時に達成することは、依然として非常に難しい。
  論文  参考訳（メタデータ） (2024-11-17T03:32:36Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• Leveraging Automated Mixed-Low-Precision Quantization for tiny edge microcontrollers [76.30674794049293]
  本稿では、HAQフレームワークに基づく自動混合精度量子化フローを提案するが、MCUデバイスのメモリおよび計算特性に特化している。 具体的には、強化学習エージェントは、個々の重みとアクティベーションテンソルの2, 4, 8ビットのうち、最高の均一量子化レベルを探索する。 重量のみの量子化のために2MBに制限されたMCUクラスのメモリが与えられた場合、混合精度エンジンによって生成された圧縮されたモデルは、最先端のソリューションと同じくらい正確である。
  論文  参考訳（メタデータ） (2020-08-12T06:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。