論文の概要: RQ-MoE: Residual Quantization via Mixture of Experts for Efficient Input-Dependent Vector Compression

• arxiv url: http://arxiv.org/abs/2605.14359v1
• Date: Thu, 14 May 2026 04:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.620369
• Title: RQ-MoE: Residual Quantization via Mixture of Experts for Efficient Input-Dependent Vector Compression
• Title（参考訳）: RQ-MoE: 入力依存ベクトル圧縮のためのエキスパートの混合による残留量子化
• Authors: Zhengjia Zhong, Shuyan Ke, Zaizhou Lin, Jiaqi Song, Hongyi Lan, Hui Li,
• Abstract要約: Mixture of Experts (RQ-MoE) は、2段階のMoEとデュアルストリームの量子化を組み合わせたフレームワークで、入力依存のコードブックによる効率的なベクトル量子化を可能にする。 RQ-MoEは,従来のベクトル量子化法よりも6x-14倍高速な復号化を実現した。
• 参考スコア（独自算出の注目度）: 1.8114393129534525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector quantization is a fundamental tool for compressing high-dimensional embeddings, yet existing multi-codebook methods rely on static codebooks that limit expressiveness under heterogeneous data geometry. While recent dynamic quantizers like QINCo adapt codebooks to individual inputs and improve expressiveness, their strict sequential dependencies create decoding bottlenecks. We propose Residual Quantization via Mixture of Experts (RQ-MoE), a framework combining a two-level MoE with dual-stream quantization to enable input-dependent codebook adaptation for efficient vector quantization. RQ-MoE enables dynamic codebook construction and decouples instruction from quantization, facilitating parallel decoding. Theoretically, we show that standard Residual Quantization and QINCo can be recovered as constrained special cases of RQ-MoE, and derive a guideline for setting expert dimensionality in RQ-MoE. Extensive experiments show that RQ-MoE achieves state-of-the-art or on-par performance in reconstruction and retrieval, while providing 6x-14x faster decoding than prior vector quantization methods. The implementation is available at https://github.com/KDEGroup/RQ-MoE.
• Abstract（参考訳）: ベクトル量子化は高次元埋め込みを圧縮するための基本的なツールであるが、既存のマルチコードブック法は、不均一なデータ幾何学の下で表現性を制限する静的コードブックに依存している。 QINCoのような最近の動的量子化器は、コードブックを個々の入力に適用し、表現性を改善する一方、厳密なシーケンシャルな依存関係はデコードボトルネックを生み出す。 本稿では、2レベルMoEと2ストリーム量子化を組み合わせたフレームワークであるRQ-MoE(Residual Quantization via Mixture of Experts)を提案する。 RQ-MoEは動的コードブックの構築と量子化からの命令の切り離しを可能にし、並列デコーディングを容易にする。 理論的には、RQ-MoEの制約された特別なケースとして標準残留量子化とQINCoを復元できることを示し、RQ-MoEの専門的次元性を設定するためのガイドラインを導出する。 大規模な実験により、RQ-MoEは、従来のベクトル量子化法よりも6x-14倍高速な復号化を提供しながら、復元と検索において最先端またはオンパーのパフォーマンスを達成することが示された。 実装はhttps://github.com/KDEGroup/RQ-MoE.comで公開されている。

関連論文リスト

• Generalized Radius and Integrated Codebook Transforms for Differentiable Vector Quantization [11.898954874548073]
  我々は、VQを完全に差別化しつつ、前方パスにハードアサインを保持する統一的なサロゲートフレームワークを導入する。 GRIT-VQは、既存のVQの変種と比較して、復元誤差、生成品質、精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-02-01T10:22:35Z)
• KBVQ-MoE: KLT-guided SVD with Bias-Corrected Vector Quantization for MoE Large Language Models [13.773876289947323]
  ベクトル量子化(VQ)は、大規模言語モデル(LLM)における超低ビット圧縮に有望なアプローチを提供する KBVQ-MoE は,MoE ベースの LLM の超低ビット量子化を実現する新しい VQ フレームワークである。 さまざまなMOE LLMの実験により、KBVQ-MoEは既存の量子化法よりも精度がかなり高いことを示した。
  論文  参考訳（メタデータ） (2026-01-30T06:57:17Z)
• Q2D2: A Geometry-Aware Audio Codec Leveraging Two-Dimensional Quantization [8.458339111154585]
  2次元量子化(Q2D2)は,2次元格子上に特徴対を投影する量子化方式である。 単純な幾何学的定式化にもかかわらず、Q2D2は低いトークンレートと高いコードブック使用率でオーディオ圧縮効率を向上させる。
  論文  参考訳（メタデータ） (2025-12-01T11:06:38Z)
• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• XQ-GAN: An Open-source Image Tokenization Framework for Autoregressive Generation [54.2574228021317]
  XQ-GANは画像再構成と生成の両方のために設計された画像トークン化フレームワークである。 我々のフレームワークは、ベクトル量子化(VQ)、残留量子化(RQ)、マルチスケール残留量子化(MSVQ)、製品量子化(PQ)、バイナリ球面量子化(BSQ)など、最先端の量子化技術を統合する。 標準の ImageNet 256x256 ベンチマークでは,本モデルが MAGVIT-v2 (0.9 rFID) と VAR (0.9 rFID) を大幅に上回り,0.64 の rFID を達成した。
  論文  参考訳（メタデータ） (2024-12-02T17:58:06Z)
• QSpec: Speculative Decoding with Complementary Quantization Schemes [53.960146187821685]
  大規模言語モデル(LLM)における推論の高速化とメモリ消費削減のために量子化が広く採用されている 品質から効率を分離する新しい量子化パラダイムであるQSpecを提案する。 QSpecは重みとKVキャッシュの両方を段階的に再利用し、再トレーニングや補助モデルなしでほぼゼロコストで切り替えることができる。
  論文  参考訳（メタデータ） (2024-10-15T05:57:51Z)
• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  一般的な解決策は、VQ変分オートエンコーダ(VQVAE)にベクトル量子化(VQ)を採用することである。 本稿では,双曲型多相ロジスティック回帰(MLR)問題としてVQを定式化する新しい手法であるHyperVQを紹介する。 本実験は,HyperVQが従来のVQに比較し,識別性能を上回りながら,生成・再構成タスクに適合することを示した。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• Residual Quantization with Implicit Neural Codebooks [40.021284158234344]
  本稿では,前ステップからのベクトル近似に依存する,ステップ毎の特別なコードブックを構築するニューラルネットワークRQ変種QINCoを提案する。 実験によると、QINCoはいくつかのデータセットとコードサイズに対して、最先端のメソッドよりも大きなマージンでパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-01-26T09:42:51Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization [40.1651740183975]
  ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。 SCQは微分凸最適化(DCO)層のように機能する。 CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2023-10-04T17:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。