論文の概要: Quantization Beyond Uniform Bit Allocation

• arxiv url: http://arxiv.org/abs/2608.19388v1
• Date: Wed, 19 Aug 2026 19:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.387585
• Title: Quantization Beyond Uniform Bit Allocation
• Title（参考訳）: 均一ビット割り当てを超える量子化
• Abstract要約: 可変ビット割り当て方式が固定メモリ予算の下で量子化品質を向上できるかどうかを検討する。 本稿では,埋め込みを連続的なバケットに分割し,不均一にストレージを割り当てる,単純な可変ビット割り当てフレームワークを提案する。 この結果から,大規模検索システムにおける構造認識圧縮とインデックス化の新たな方向性が示唆された。
• 参考スコア（独自算出の注目度）: 20.940721219907804
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Quantization is a fundamental technique to handle the growing sizes of embeddings generated by modern models. Existing quantization schemes are largely embedding agnostic and allocate bits uniformly across dimensions. However, recent models produce embeddings with significant geometric structure. In this work, we investigate whether a variable bit allocation scheme can improve quantization quality under a fixed memory budget. We propose a simple variable bit allocation framework that partitions an embedding into contiguous buckets and allocates storage non-uniformly across them. Using a greedy allocation strategy, we instantiate this framework for both Product Quantization (PQ) and Scalar Quantization (SQ). We perform a series of experiments on embeddings known to have the Matryoshka property (MRL), and consistently observe that non-uniform allocations outperform uniform baselines at identical storage budgets. The largest improvements occur in the low-bit regime, where uniform allocation is particularly inefficient for MRL embeddings. At the same compression rates, variable allocation improves recall by up to 8\% for PQ and up to 18\% for SQ. Our results suggest a new direction for structure-aware compression and indexing techniques for large-scale retrieval systems.
• Abstract（参考訳）: 量子化は、現代のモデルによって生成される埋め込みの大きさの増大を扱うための基本的な技術である。 既存の量子化スキームは、主に非依存に埋め込まれ、次元にわたって一様にビットを割り当てる。 しかし、最近のモデルは重要な幾何学的構造を持つ埋め込みを生成する。 本研究では,可変ビット割り当て方式が固定メモリ予算の下で量子化品質を向上できるかどうかを検討する。 本稿では,埋め込みを連続的なバケットに分割し,不均一にストレージを割り当てる,単純な可変ビット割り当てフレームワークを提案する。 欲求割当戦略を用いて、製品量子化(PQ)とスカラー量子化(SQ)の両方のためにこのフレームワークをインスタンス化する。 我々は,Matryoshkaプロパティ(MRL)の埋め込みに関する一連の実験を行い,不均一なアロケーションが同じストレージ予算で均一なベースラインを上回ることを一貫して観察する。 最大の改善は低ビット状態にあり、均一配置はMRLの埋め込みでは特に非効率である。 同じ圧縮速度で、変数割り当ては、PQでは最大8\%、SQでは最大18\%のリコールを改善する。 この結果から,大規模検索システムにおける構造認識圧縮とインデックス化の新たな方向性が示唆された。

関連論文リスト

• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• A Clustering-Based Variable Ordering Framework for Relaxed Decision Diagrams for Maximum Weighted Independent Set Problem [4.312746668772342]
  この研究は、変数順序付けのための新しいクラスタリングベースのフレームワークを導入する。 固定されていない変数の完全な集合に動的順序付けを適用する代わりに、最初にプリミティブ変数をクラスタに配置する。 次に、この構造分解を利用して順序付けプロセスの導出を行い、分割の探索空間を著しく削減する。
  論文  参考訳（メタデータ） (2025-12-17T08:49:38Z)
• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments [53.71158537264695]
  大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。 textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
  論文  参考訳（メタデータ） (2024-10-31T13:26:11Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• SDQ: Stochastic Differentiable Quantization with Mixed Precision [46.232003346732064]
  本稿では,MPQ戦略を自動的に学習できる新しい微分可能量子化(SDQ)手法を提案する。 最適なMPQ戦略が得られた後、エントロピーを意識したビン正規化と知識蒸留でネットワークを訓練する。 SDQは、最先端の混合データセット、または低いビット幅で単一精度の量子化よりも優れている。
  論文  参考訳（メタデータ） (2022-06-09T12:38:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。