論文の概要: RSLM: Training-Free Vector Quantization for Approximate Nearest Neighbor Search
- arxiv url: http://arxiv.org/abs/2608.30384v1
- Date: Mon, 31 Aug 2026 07:40:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.288946
- Title: RSLM: Training-Free Vector Quantization for Approximate Nearest Neighbor Search
- Title（参考訳）: RSLM: 近似近傍探索のための学習自由ベクトル量子化
- Abstract要約: RSLMは1次元あたり1〜4ビットの埋め込みを圧縮する訓練不要なベクトル量子化コーデックのファミリーである。
我々は,ANN(Aroximate Nearest Neighbor)サーチシステムのメモリコストとメモリ帯域幅を削減する。
我々の大きな革新は、残基だけでなく、最終的な再構成ベクトルの$L$ノルムを補正することである。
- 参考スコア（独自算出の注目度）: 0.4077787659104315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: By introducing RSLM (Rotated Scaled Lloyd-Max), a family of training-free vector quantization codecs compressing embeddings to 1--4 bits per dimension, we reduce memory cost and memory bandwidth of a typical large-scale Approximate Nearest Neighbor (ANN) search system, while reducing its complexity and keeping or improving recall across multiple benchmark datasets. State-of-the-art systems filter candidates using coarse partitions, approximately score them to narrow the set, and then rescore the best with higher precision representations (often >=8 bits per dimension). Our relativized codecs can bring this down to 2--4 bits per dimension. We use the properties of the ANN system to encode residual vectors instead of full vectors, both for the approximate scoring phase and the rescoring phase. Since Maximum Inner Product Search (MIPS) is very sensitive to vector norms, we correct the $L_2$ norms of quantized vectors. Our major innovation is that we correct the $L_2$ norm of the final reconstructed vector rather than just the residual. Our rescaling replaces more complicated schemes, such as Anisotropic loss. The residualization scheme gives us a more favorable quality vs size trade-off than generic quantization methods. Our high-performance implementation leverages a block-wise cascaded Fast Walsh-Hadamard Transform (FWHT) with linear-like complexity, AVX SIMD-optimized codebooks, and a steganographic encoding of scaling factors for perfect cache-line alignment.
- Abstract（参考訳）: RSLM(Rotated Scaled Lloyd-Max)は,1次元あたり1～4ビットの埋め込みを圧縮する学習自由ベクトル量子化コーデックのファミリーであり,ANN(Adroximate Nearest Neighbor)サーチシステムのメモリコストとメモリ帯域幅を削減し,その複雑さを低減し,複数のベンチマークデータセット間のリコールを維持・改善する。
最先端のシステムでは、粗いパーティションを使って候補をフィルタリングし、ほぼスコアを付け、セットを絞り込み、高い精度の表現(しばしば次元あたり8ビット)でベストを再スコアする。
我々の相対化コーデックは、これを次元あたり2--4ビットにまで減らすことができる。
我々は、ANNシステムの特性を用いて、近似的なスコアリングフェーズとrescoringフェーズの両方において、完全ベクトルの代わりに残留ベクトルを符号化する。
最大内積探索(MIPS)はベクトルノルムに非常に敏感であるため、量子化されたベクトルの$L_2$ノルムを補正する。
我々の大きな革新は、残基のみでなく、最終的な再構成ベクトルの$L_2$ノルムを補正することである。
我々の再スケーリングは、異方性損失のようなより複雑なスキームを置き換える。
残留化方式は、一般的な量子化法よりも、より好ましい品質と大きさのトレードオフを与える。
本稿では,FWHT(Fast Walsh-Hadamard Transform)とAVX SIMD最適化符号ブックと完全キャッシュラインアライメントのためのスケーリング係数のステガノグラフ符号化を利用する。
関連論文リスト
- SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。
SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。
また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
論文 参考訳（メタデータ） (2026-08-05T17:51:25Z) - No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。
ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
論文 参考訳（メタデータ） (2026-05-28T15:53:34Z) - ITQ3_S: High-Fidelity 3-bit LLM Inference via Interleaved Ternary Quantization with Rotation-Domain Smoothing [0.0]
我々は,TurboQuant(TQ)を統合したLLMのための新しい3ビット重み量子化フォーマットであるITQ3_S(Interleaved Ternary Quantization -- Specialized)を提案する。
従来の3ビット法では、重み付き重み分布とチャネル間外周による精度の低下が見られた。
ITQ3_Sは、量子化の前にFWHTを介して重み空間を前回転させ、ベクトルにエネルギーを分散させ、ガウス近傍の分布を誘導する。
論文 参考訳（メタデータ） (2026-03-30T00:03:22Z) - Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。
提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
論文 参考訳（メタデータ） (2025-10-23T20:19:48Z) - SBVR: Summation of BitVector Representation for Efficient LLM Quantization [3.7018544730078413]
データ中の表現可能な点の数を制限することで量子化圧縮は、効率的な量子化の鍵となる。
既存のPTQ(Post-Training Quantization)ソリューションでは、ラウンドツーネアレス(RTN)ベースの方法とコードブックベースの方法の2つの主要なアプローチが採用されている。
SBVR(Summation of Bitplex Representation, ビットプレックス表現の要約)を提案する。
論文 参考訳（メタデータ） (2025-09-17T13:51:27Z) - FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。
当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
論文 参考訳（メタデータ） (2025-05-23T14:37:00Z) - Qinco2: Vector Compression and Search with Improved Implicit Neural Codebooks [23.598010051403225]
QINCo2は,BigANNの16バイトベクトル圧縮では34%,Deep1Mでは8バイトエンコーディングでは24%の検索精度向上を実現している。
ベクトル圧縮のためのQINCo2と、数十億近い近接探索のための4つのデータセットの実験を行った。
論文 参考訳（メタデータ） (2025-01-06T15:20:22Z) - Residual vector quantization for KV cache compression in large language model [2.3094645821058735]
KVキャッシュ圧縮法は主にデコード時のメモリ要求を減らすスカラー量子化技術に依存している。
本研究では,大規模言語モデル(LLM)におけるKVキャッシュの圧縮に,高忠実度音声圧縮に広く用いられている残差ベクトル量子化を適用した。
我々は指数移動平均を用いてコードブックを学習し、ベクトル量子化設定に通常使用される入力と出力のプロジェクションを含む他の学習可能なパラメータは存在しない。
論文 参考訳（メタデータ） (2024-10-21T07:20:41Z) - Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。
トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
論文 参考訳（メタデータ） (2024-01-11T18:54:44Z) - Factorizers for Distributed Sparse Block Codes [45.29870215671697]
分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。
我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。
CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
論文 参考訳（メタデータ） (2023-03-24T12:31:48Z) - Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix
Factorization [60.91600465922932]
本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。
我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
論文 参考訳（メタデータ） (2022-10-23T00:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。