論文の概要: Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization

• arxiv url: http://arxiv.org/abs/2610.31309v1
• Date: Thu, 22 Oct 2026 14:07:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.398459
• Title: Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization
• Title（参考訳）: 層間遅延ベクトル量子化による層間埋め込みの極端圧縮
• Abstract要約: Gemma 4 E4B のパラメータの35.2%を占める Per-Layer Embeddings (PLE) の極端な圧縮について検討した。 このような速度で、従来の量化器は各トークン層ベクトルに数バイトの独自の符号を与える。 我々は,トークン毎に1つの量子化されたコードを格納し,それを各層でデコードするOPTIC-Output-Path-fited,Token-Shared Indexed Codesを開発した。
• 参考スコア（独自算出の注目度）: 73.31438661879197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling embedding capacity alongside Transformer computation is an emerging trend in language models. This trend makes high compression rates increasingly useful. Hence, we study extreme compression of Per-Layer Embeddings (PLE), which follow this trend and account for 35.2% of the parameters of Gemma 4 E4B. At such rates, conventional quantizers give each token-layer vector its own code of only a few bytes. We instead develop OPTIC (Output-Path-fitted, Token-shared Indexed Codes), which stores one quantized code tuple per token and decodes it at every layer with a layer-specific affine decoder. Codes and decoders are fitted to the PLE output path rather than to the stored vectors. At about $100\times$ PLE compression of bfloat16 (BF16) E4B, OPTIC retains an aggregate 97.8% of the uncompressed model's performance across seven benchmarks, whereas product quantization, the strongest of six conventional baselines, retains 66.3%. At $594\times$ and $1,002\times$ PLE compression of BF16 E4B, OPTIC retains 90.5% and 84.1%. On the official E4B release with 4-bit linear weights and 16-bit activations (W4A16), OPTIC retains 96.9% at about $100\times$ PLE compression. During inference at about $100\times$ PLE compression, BF16 E4B uses 29.7% less GPU memory than with uncompressed PLE at the same key-value cache size, while running at most 0.40% slower.
• Abstract（参考訳）: Transformer計算と併用する埋め込み能力のスケーリングは、言語モデルにおける新たなトレンドである。 この傾向は、高い圧縮率をますます有益にする。 したがって、この傾向に従い、Gemma 4 E4B のパラメータの35.2%を占める Per-Layer Embeddings (PLE) の極端な圧縮について検討した。 このような速度で、従来の量化器は各トークン層ベクトルに数バイトの独自の符号を与える。 代わりにOPTIC(Output-Path-fited, Token-Shared Indexed Codes)を開発し、トークン毎に1つの量子化されたコードタプルを格納し、レイヤ固有のアフィンデコーダで各レイヤでデコードします。 コードとデコーダは、格納されたベクトルではなく、ple出力パスに適合する。 約100\times$ PLE 圧縮の bfloat16 (BF16) E4B では、OPTIC は7つのベンチマークで非圧縮モデルの性能の97.8%を保持し、一方6つの従来のベースラインで最強の製品量子化は66.3%を維持している。 594\times$と1,002\times$ PLE圧縮のBF16 E4Bでは、OPTICは90.5%と84.1%を維持している。 4ビットのリニアウェイトと16ビットのアクティベーションを備えたE4Bの公式リリース(W4A16)では、OPTICは96.9%を約100\times$ PLE圧縮で保持している。 約100\times$ PLE圧縮での推論では、BF16 E4Bは、同じキー値キャッシュサイズで非圧縮のPLEより29.7%少ないGPUメモリを使用し、少なくとも0.40%遅い。

関連論文リスト

• Cascadia: Resident 975B MoE Inference on Eleven AI PCs [0.0]
  我々は、11台のIntel Core Ultra X7 358H AI PC上で、カスカディアのInklingの常駐実行を示す。 Inklingのルーティングルールを保存し、OpenVINOの融合したiGPUプリミティブのための圧縮グラフを構築するカスタム常駐MoEエンジンにコントリビュートする。 ストリーミングパイプラインは同時生成をコーディネートし、キャプチャ状態のドラフト評価は、展開された数値パスと一致させる。
  論文  参考訳（メタデータ） (2026-10-05T18:29:24Z)
• Paritok-4B: Intent-Conditioned Context Compression for Coding Agents [0.9689471757238836]
  Paritok-4Bは、4BのLoRA圧縮機で、2つのコミットメントに基づいて構築されたコーディング・エージェント・トラジェクトリを駆動する。 書き直しではなくスパンを選択し、96.4%の識別子、パス、および出力した番号が入力にすでに表示されている。 エージェントの現在のタスクでは、主に保持されたセグメント内で動作し、どのラインが生き残るかを選択する。
  論文  参考訳（メタデータ） (2026-08-25T07:53:30Z)
• RotaryQuant: Fitting 120B MoE Models on Consumer Hardware via Fused Compressed-Space Attention [0.0]
  26-120億のパラメータを持つ大規模混合専門家言語モデル(MoE)は、3つの同時圧力によってコンシューマデバイスのメモリ容量を超過する。 3つすべてに対処する3軸圧縮システムであるRotaryQuantを紹介する。
  論文  参考訳（メタデータ） (2026-08-08T11:58:56Z)
• ProGIC: Progressive and Lightweight Generative Image Compression with Residual Vector Quantization [59.481950697968706]
  残留ベクトル量子化(RVQ)に基づくコンパクトなプログレッシブ生成画像圧縮(ProGIC)を提案する。 RVQでは、ベクトル量子化器の列がステージごとに残余を符号化し、それぞれが独自のコードブックを持つ。 これを奥行き分離可能な畳み込みと小さな注意ブロックに基づく軽量なバックボーンと組み合わせることで、GPUとCPUのみのデバイスに実用的なデプロイを可能にします。
  論文  参考訳（メタデータ） (2026-03-03T11:47:05Z)
• Nacrith: Neural Lossless Compression via Ensemble Context Modeling and High-Precision CDF Coding [0.0]
  本研究では,自然言語テキストにおいて評価されたシステム間で最高の圧縮結果を得る圧縮システムであるNacrithについて述べる。 このシステムは500MBのGGUF重量と1ワーカーあたり1.2GBのVRAMしか必要としない。 Alice29 (Canterbury Corpus, 152 KB) では、Nacrith は 0th-, 1st-, 2nd-order Shannon entropy 境界以下で 0.918bits per byte (bpb) を達成する。
  論文  参考訳（メタデータ） (2026-02-23T09:14:05Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。