論文の概要: Tetra: Serving Leech-Lattice Quantized LLMs at 2.7 Bits per Parameter

• arxiv url: http://arxiv.org/abs/2609.35465v1
• Date: Mon, 28 Sep 2026 15:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:12:01.288947
• Title: Tetra: Serving Leech-Lattice Quantized LLMs at 2.7 Bits per Parameter
• Title（参考訳）: Tetra:Lech-Lattice量子化LDMをパラメータ当たり2.7ビットで実行
• Abstract要約: リーチ格子量子化は、重量あたり2ビットで良い品質を与えるが、コードブックは1014点以上を持ち、ルックアップテーブルには多すぎる。 同じ格子上に新しいコードブックを提示します。
• 参考スコア（独自算出の注目度）: 8.550323073861415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leech-lattice quantization gives good quality at two bits per weight, but its codebooks hold more than 10^14 points, too many for a lookup table. Our earlier kernel expanded the codes at load time and read 4.804 bits per weight from GPU memory for 2 bits of code. We present Tetra, a new codebook on the same lattice. A 24-weight block still takes 48 bits, most of which index a 64-state trellis of the Golay code and one shared 16 KiB table. The kernel decodes a block with six table loads and two small lookups inside the matrix-vector product, and reads 2.148 bits per weight. For full models, we retrain one scale per matrix row, store the matrices that lose the most as 4-bit integers, and pay for them with 4-bit embedding tables. Our Qwen3-4B, 8B and 14B files hold 2.73, 2.70 and 2.73 bits per parameter over the whole model. They score 63.37, 69.58 and 75.66 on the full MMLU test set, 4.76, 4.21 and 2.46 points below 4-bit AWQ at 5.3 to 6.0 bits per parameter. They generate 113.8, 95.0 and 57.2 tokens per second in our engine. On GSM8K, through the served kernel, they lose 9.63, 4.62 and 3.26 points to FP16. At 4B our file scores 23.6 points above llama.cpp's IQ2_XXS (2.48 bits per parameter). Every number we measured for a table or figure comes from one NVIDIA L40S GPU. We preregistered the main experiments.
• Abstract（参考訳）: リーチ格子量子化は、重量あたり2ビットで良い品質を与えるが、コードブックは10^14以上の点を持ち、ルックアップテーブルには多すぎる。 初期のカーネルはロード時にコードを拡張し、GPUメモリから2ビットのコードで1重あたり4.804ビットを読みました。 同じ格子上の新しいコードブックであるTetraを紹介します。 24ウェイトブロックは依然として48ビットであり、そのほとんどはGolayの64状態トレリスと16KiBのテーブルをインデックス化している。 カーネルは6つのテーブルロードと2つの小さなルックアップを持つブロックを行列ベクトル製品内にデコードし、重量あたり2.148ビットを読み込む。 完全なモデルでは、行列列ごとに1つのスケールをリトレーニングし、4ビット整数として最も多く失われる行列を格納し、4ビット埋め込みテーブルで支払います。 我々のQwen3-4B、8B、14Bファイルはモデル全体のパラメータあたり2.73ビット、2.70ビット、2.73ビットを保持する。 完全なMMLUテストセットでは63.37、69.58、75.66、パラメータあたり5.3から6.0ビットの4ビットAWQ以下では4.76、4.21、および2.46ポイントのスコアが与えられる。 エンジンは毎秒113.8、95.0、57.2トークンを生成する。 GSM8Kでは、サーブカーネルを通して9.63、4.62、および3.26ポイントをFP16に失った。 4Bでは、ファイルはllama.cppのIQ2_XXS(パラメータ当たり2.48ビット)より23.6ポイント高い。 テーブルやフィギュアで測定したすべての数値は、1つのNVIDIA L40S GPUから得られます。 私たちは主な実験を事前登録した。

関連論文リスト

• Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches [0.0]
  Fathomは、各クエリが読み込むキーチャンネルのビット数を決定するキースキャンである。 Qwen3-8Bで100万トークンを使用すると、デコードステップはGPU時間で1.67倍高速になる。
  論文  参考訳（メタデータ） (2026-09-15T16:53:01Z)
• Unfolding the Leech Lattice: Fused Multi-Shell Decoding and VRAM Layouts for 2-Bit LLM Weights [8.550323073861415]
  リーチ格子ベクトル量子化は、最強の報告された2ビット品質を独自の評価プロトコルで保持する。 本報告では, バッチ1におけるデコード相GEMVの供用コストを計測する。
  論文  参考訳（メタデータ） (2026-09-02T14:26:06Z)
• Tied Trit-Planes: Constraining PTQTP to a Uniform Nine-Level Quantizer, with a Persistent Folded Format for Disk-Streamed Mixture-of-Experts Serving [0.28304882054363123]
  この研究はPTQTPの解法に制約としてそのアイデンティティを課した最初のものである。 我々は、284B-A13B混合エキスパートモデルであるDeepSeek-V4-Flash-0731のルートエキスパートに適用する。 すべてのコード、フォーマット、評価アーティファクトは、fucina推論スタックでオープンソースである。
  論文  参考訳（メタデータ） (2026-08-09T20:53:47Z)
• NativeTernary: A Self-Delimiting Binary Encoding with Unary Run-Length Hierarchy Markers for Ternary Neural Network Weights, Structured Data, and General Computing Infrastructure [0.0]
  NativeTernaryは、GGUF Q2_Kの1.31倍、GGUF int8の4.0倍の3次重みを符号化している。 デコーダは10行のステートレスステートマシンであり、ビットストリームの破損に耐性がある。
  論文  参考訳（メタデータ） (2026-04-03T06:58:03Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• BitNet v2: Native 4-bit Activations with Hadamard Transformation for 1-bit LLMs [95.73339037243105]
  BitNet v2は、1ビットの大規模言語モデルに対してネイティブな4ビットアクティベーション量子化を可能にするフレームワークである。 H-BitLinearは、アクティベーション量子化の前にオンラインアダマール変換を適用するモジュールである。 実験では、BitNet v2がゼロからトレーニングされ、8ビットアクティベーションはBitNet b1.58のパフォーマンスと一致している。
  論文  参考訳（メタデータ） (2025-04-25T15:17:52Z)
• Bitnet.cpp: Efficient Edge Inference for Ternary LLMs [71.5759603658299]
  我々はBitNet b1.58と3次LLM向けに最適化された推論システムBitnetを紹介する。 Bitnetは、新しいmpGEMMライブラリを組み込んで、サブ-2ビット毎の軽量、効率的、損失のない推論を容易にする。 我々の実験は、Bitnetが全精度ベースラインで最大6.25倍、低ビットベースラインで最大2.32倍の速度を達成することを示した。
  論文  参考訳（メタデータ） (2025-02-17T15:06:28Z)
• QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs [72.26197676852958]
  ローテーションに基づく新しい量子化方式であるQuaRotを紹介する。 QuaRotは、すべての重み、アクティベーション、KVキャッシュを含むエンドツーエンドを4ビットで量子化する。 我々の4ビット量子化LLaMa2-70Bモデルは、少なくとも0.47 WikiText-2パープレキシティが失われ、ゼロショット性能の99%を維持している。
  論文  参考訳（メタデータ） (2024-03-30T19:20:06Z)
• Quantum computation on a 19-qubit wide 2d nearest neighbour qubit array [59.24209911146749]
  本稿では,1次元に制約された量子ビット格子の幅と物理閾値の関係について検討する。 我々は、表面コードを用いた最小レベルのエンコーディングでエラーバイアスを設計する。 このバイアスを格子サージャリングサーフェスコードバスを用いて高レベルなエンコーディングで処理する。
  論文  参考訳（メタデータ） (2022-12-03T06:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。