論文の概要: CoS-VQ: Coordinated Shared-Scale Vector Quantization for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.37336v1
• Date: Tue, 27 Oct 2026 14:43:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.66162
• Title: CoS-VQ: Coordinated Shared-Scale Vector Quantization for Large Language Models
• Title（参考訳）: CoS-VQ:大規模言語モデルのための協調型共有規模ベクトル量子化
• Abstract要約: CoS-VQは低次元のコードワードを保存し、ハードインデックスと共有スケールを共同最適化する。 Qwen-273.8Bでは、評価された言語モデリング、コーディング、推論ベンチマークにおいて、CoS-VQはQTIPとLLVQを上回っている。
• 参考スコア（独自算出の注目度）: 13.985661713909222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) require substantial memory, motivating low-bit weight quantization for efficient deployment. Existing vector quantization (VQ) methods often improve accuracy by increasing the effective coding dimension, which can complicate independent lookup and local codeword updates. We propose CoS-VQ (Coordinated Shared-Scale Vector Quantization), which preserves low-dimensional codewords while jointly optimizing hard indices and their shared scale across positions. The key challenge is scale-induced coupling: the optimal scale depends on the entire codeword combination and, in turn, changes candidate rankings across positions, so pointwise updates can stall even after scale re-optimization. CoS-VQ collects candidates at multiple probe scales and constructs a tangent separable upper bound for the residual-aware quadratic objective. By reducing candidate comparisons to lower envelopes of lines over positive scales, it identifies finitely many representative intervals for joint index--scale updates without exhaustively enumerating codeword combinations. On Qwen3.8-27B, CoS-VQ outperforms QTIP and LLVQ on the evaluated language modeling, coding, and reasoning benchmarks. Ablations from the same initialization further show larger gains from joint updates than from scale-only refinement, highlighting joint selection as an alternative to increasing codeword dimensionality. The code is available at https://github.com/xzktx003/Cos_VQ.
• Abstract（参考訳）: 大規模言語モデル (LLM) にはかなりのメモリが必要であり、効率的なデプロイメントのために低ビット量量子化を動機付けている。 既存のベクトル量子化法(VQ)は、独立したルックアップやローカルコードワードの更新を複雑にし、効果的な符号化次元を増大させることで精度を向上する。 本稿では,CoS-VQ(Coordinated Shared-Scale Vector Quantization)を提案する。 最適なスケールは、コードワードの組み合わせ全体に依存し、代わりに、ポジション毎に候補ランクを変更するため、スケールの再最適化後もポイントワイズ更新が停止する可能性がある。 CoS-VQは複数のプローブスケールで候補を収集し、残留認識二次目的に対して接分離可能な上界を構築する。 正のスケールよりも低い行のエンベロープに対する候補比較を小さくすることで、コードワードの組み合わせを徹底的に列挙することなく、ジョイントインデックスのスケール更新において、有限個の代表区間を特定できる。 Qwen3.8-27Bでは、CoS-VQは評価された言語モデリング、コーディング、推論ベンチマークにおいてQTIPとLLVQを上回っている。 同じ初期化によるアブレーションは、拡大するコードワード次元の代替として、共同選択が強調される、スケールのみの洗練よりも、共同更新による大きな向上を示している。 コードはhttps://github.com/xzktx003/Cos_VQで公開されている。

関連論文リスト

• STLQ: Spatio-Topological Linkage Quantization for Approximate Nearest Neighbor Search [18.67582387561124]
  マルチコードブック量子化(MCQ)は、データベースベクトルをコンパクトコードで表現する実用的なパラダイムである。 STLQ(Spatio-Topological Quantization)は,各IVFクラスタを,コンパクトな符号とスケーリング係数を持つ有向フォレストとして構成するトポロジカル浅層MCQ法である。
  論文  参考訳（メタデータ） (2026-10-07T09:13:31Z)
• SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
  Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。 SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。 また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
  論文  参考訳（メタデータ） (2026-08-05T17:51:25Z)
• Investigating Permutation-Invariant Discrete Representation Learning for Spatially Aligned Images [20.603403172654726]
  本稿では,置換不変ベクトル量子化オートエンコーダ(PI-VQ)を提案する。 この制約は、グローバルなセマンティックな特徴を捕捉し、学習前の学習なしに画像間の直接的アクセスを可能にする。 我々は,CelebA,CelebA-HQ,FFHQのPI-VQを評価し,提案手法を用いて合成した画像の競合精度,密度,カバレッジの指標を得た。
  論文  参考訳（メタデータ） (2026-04-02T09:56:59Z)
• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• Learning Complex Word Embeddings in Classical and Quantum Spaces [4.390632861436832]
  我々は、高度に最適化されたC言語バージョンのSkip-gramを複雑に評価したバージョンを開発した。 我々は3.8Bワードコーパスで訓練された複雑な埋め込みを400k以上の語彙サイズで生成する。 我々は,一連の標準類似性および関連性データセットに対する複雑な埋め込みを評価する。
  論文  参考訳（メタデータ） (2024-12-18T11:26:51Z)
• Scalable Image Tokenization with Index Backpropagation Quantization [74.15447383432262]
  インデックスバックプロパゲーション量子化(IBQ)は、すべてのコードブック埋め込みとビジュアルエンコーダの共同最適化のための新しいVQ手法である。 IBQは、ビジュアルトークンのスケーラブルなトレーニングを可能にし、初めて、高次元(256ドル)で高利用率の大規模コードブックを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:10Z)
• Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization [40.1651740183975]
  ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。 SCQは微分凸最適化(DCO)層のように機能する。 CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2023-10-04T17:45:14Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。