論文の概要: $\text{Log}_\text{b}$Quant: Quantizing Language Models in Logarithmic Space
- arxiv url: http://arxiv.org/abs/2607.01127v1
- Date: Wed, 01 Jul 2026 16:13:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.982954
- Title: $\text{Log}_\text{b}$Quant: Quantizing Language Models in Logarithmic Space
- Title（参考訳）: $\text{Log}_\text{b}$Quant: 対数空間における言語モデルの量子化
- Authors: Jeremias Bohn, Tizian Dippold, Mahdi Koubaa, Elias R. Wahl, Georg Groh,
- Abstract要約: 可変基底を持つ新しい対数量子化手法であるLog$_textb$Quantを導入し、共通パラメータ分布に適応する。
提案手法は, テンソルワイド粒度における非対称線形量子化と比較して, 4ビット精度で高い性能を示しながら, 適度な高速化と高メモリ節約を実現している。
- 参考スコア（独自算出の注目度）: 3.405768252883924
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Quantization has become an invaluable tool to reduce memory requirements and inference speed of modern language models, in particular to make them available for consumer setups and edge devices. While previous work has primarily focused on uniform quantization codebooks, such approaches are prone to suboptimal representations due to low-frequency high-magnitude weights. We introduce Log$_\text{b}$Quant, a novel logarithmic quantization approach with adjustable bases, to adapt to common parameter distributions. We show that our method exhibits superior performance at 4-bit precision on several performance benchmarks compared to asymmetric linear quantization at tensor-wise granularity, while achieving moderate speedup and high memory savings, making it suitable for private use on consumer-grade GPUs.
- Abstract（参考訳）: 量子化は、現代の言語モデルのメモリ要件と推論速度を削減し、特にコンシューマのセットアップやエッジデバイスで使用できるようにするための、貴重なツールになっている。
これまでの研究は主に均一な量子化符号ブックに焦点を合わせてきたが、そのようなアプローチは低周波高マグニチュード重みによる最適下界表現の傾向にある。
可変基底を持つ新しい対数量子化手法であるLog$_\text{b}$Quantを導入し、共通パラメータ分布に適応する。
提案手法は, テンソルワイド粒度における非対称線形量子化と比較して, 4ビット精度で高い性能を示しながら, 適度な高速化と高メモリ節約を実現し, コンシューマグレードのGPU上でのプライベートな使用に適していることを示す。
関連論文リスト
- Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。
提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
論文 参考訳（メタデータ） (2025-10-23T20:19:48Z) - MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文 参考訳（メタデータ） (2025-07-06T08:16:50Z) - Enhancing Ultra-Low-Bit Quantization of Large Language Models Through Saliency-Aware Partial Retraining [0.0]
本稿では,ApiQ上に構築した超低ビット量子化手法を提案する。
LLaMA 7B と 13B のベンチマーク実験により,ApiQ の精度劣化をそれぞれ 10.85% と 7.54% 削減できることを示した。
論文 参考訳（メタデータ） (2025-04-14T19:31:21Z) - SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression [7.6131620435684875]
SLIMは新しいワンショット圧縮フレームワークで、ハードウェアフレンドリーな量子化、スパーシティ、低ランク近似を統合する。
SLIMはモデル精度を最大5.66%(LLaMA-2-7B)まで改善し、4ビットの重み量子化で2:4の間隔で計算し、従来の手法より優れている。
論文 参考訳（メタデータ） (2024-10-12T18:36:07Z) - decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points [10.238677144792279]
deoupleQは従来の量子化パラダイムを捨て、モデルパラメータを整数と浮動小数点に分解する。
ByteDanceの大規模音声モデルの2ビット量子化では,fp16/bf16付近のオンライン精度が良好であった。
論文 参考訳（メタデータ） (2024-04-19T10:02:53Z) - NUPES : Non-Uniform Post-Training Quantization via Power Exponent Search [7.971065005161565]
量子化は浮動小数点表現を低ビット幅の固定点表現に変換する技術である。
量子化空間全体にわたって新しい量子化重みを学習する方法を示す。
本研究では,データフリーとデータ駆動の両構成において,最先端の圧縮率を実現する手法の有効性を示す。
論文 参考訳（メタデータ） (2023-08-10T14:19:58Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。