論文の概要: MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search
- arxiv url: http://arxiv.org/abs/2610.03651v1
- Date: Fri, 02 Oct 2026 17:33:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.521301
- Title: MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search
- Title(参考訳): MRVQ: 次元と速度のベクトル探索のための居住者指数
- Abstract要約: MRVQ(Matryoshka Residual Vector Quantization)は、冷凍埋込用残留量子化器である。
FiQAとNFCorpusの4つの組み込みファミリ、4、8、16バイトのコードに対して、MRVQは私たちが評価した最も低いRAM設計です。
- 参考スコア(独自算出の注目度): 4.221786506641528
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dense-retrieval services must switch among embedding-prefix dimensions and index bit rates as latency, quality, and memory budgets change. Tuning a quantizer separately for each rate gives the best quality, but the retrieval tier then holds several code streams and quantizer states at once. We introduce Matryoshka Residual Vector Quantization (MRVQ), a post-hoc residual quantizer for frozen embeddings. Its maximum-rate code can be truncated two ways: dropping residual stages lowers the rate, and dropping embedding coordinates lowers the dimension. One resident artifact therefore serves every (dimension, rate) pair we evaluate. Across FiQA and NFCorpus, four embedding families, and {4, 8, 16}-byte codes, MRVQ is the lowest-RAM design we evaluate. It uses 17.8-22.0x less memory than three separately trained QINCo2 indices, and 1.89-2.02x less than a lean shared-model steelman. The saving is not free: per-rate QINCo2 is 0.026-0.107 nDCG@10 better on FiQA. But MRVQ beats PQ, OPQ, and AdANNS-OPQ at matched code size. We also evaluate a low-build-cost PCA-scalar design that attains quality comparable to RaBitQ and its extension while fitting 420x faster at the median. Finally, we report two negative results: QINCo2 collapses when trained at high rates, and a ranking-bound hypothesis misses its pre-specified acceptance criteria. MRVQ is therefore a low-memory operating point for elastic retrieval, not a universal quality winner.
- Abstract(参考訳): Dense-retrievalサービスは、レイテンシ、品質、メモリ予算の変化として、埋め込み-修正のディメンションとインデックスビットレートに切り替える必要があります。
それぞれのレートごとに量子化器を個別にチューニングすると、最高の品質が得られるが、検索層は複数のコードストリームと量子化器の状態を同時に保持する。
冷凍埋込用残留量子化器であるMatryoshka Residual Vector Quantization (MRVQ)を紹介する。
その最大レートの符号は2つの方法で切り離すことができる: 残留段の減少はレートを下げ、埋め込み座標の減少は寸法を下げる。
したがって、1つの常駐アーティファクトは、評価するすべての(次元、レート)ペアを提供します。
FiQAとNFCorpusの4つの埋め込みファミリ、および {4, 8, 16} バイトのコードに対して、MRVQは私たちが評価した最低のRAM設計である。
3つの個別に訓練されたQINCo2指標よりも17.8-22.0x少ないメモリを使用し、1.89-2.02xはリーン共有モデル鋼材より小さい。
QINCo2は、FiQAで0.026-0.107 nDCG@10に改善されている。
しかし、MRVQは一致したコードサイズでPQ、OPQ、AdANNS-OPQを上回る。
また,RaBitQに匹敵する品質を実現し,中央値で420倍高速なPCAスカラー設計も検討した。
最後に、QINCo2は、高い速度で訓練すると崩壊し、ランキングバウンド仮説は、所定の受理基準を逸脱する2つの負の結果を報告した。
したがって、MRVQは弾力性検索のための低メモリの演算点であり、普遍的な品質の勝者ではない。
関連論文リスト
- Capability Scaling-Down Laws for LLM Compression [57.14348517864116]
我々は, LLM圧縮のスケールダウン法則を, 刈り込み, 定量化, 蒸留にまたがって検討した。
我々のフレームワークは、数学、コード生成、質問応答における能力損失を測定する。
我々は単純な予測関係を構築し、その精度、測定効率、および未知の構成やモデル状態への一般化を評価する。
論文 参考訳(メタデータ) (2026-10-01T20:35:12Z) - Quit While You're Ahead: Quit for Efficient Candidate Generation in Machine Translation Reranking [45.725526380450795]
Quitは、世代全体の新しい戦略である。
インクリメンタルに候補を生成してリランクし、最高のスコアが安定すると停止する。
エンド・ツー・エンドのスピードアップはデコードで$1.47$--2.66times$、QEの$3.43$--$4.12times$で、ほぼ全ての外部品質指標の翻訳品質を維持している。
論文 参考訳(メタデータ) (2026-09-01T02:29:11Z) - RSLM: Training-Free Vector Quantization for Approximate Nearest Neighbor Search [0.4077787659104315]
RSLMは1次元あたり1〜4ビットの埋め込みを圧縮する訓練不要なベクトル量子化コーデックのファミリーである。
我々は,ANN(Aroximate Nearest Neighbor)サーチシステムのメモリコストとメモリ帯域幅を削減する。
我々の大きな革新は、残基だけでなく、最終的な再構成ベクトルの$L$ノルムを補正することである。
論文 参考訳(メタデータ) (2026-08-31T07:40:57Z) - SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。
SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。
また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
論文 参考訳(メタデータ) (2026-08-05T17:51:25Z) - From Circuits to Hardware: Benchmarking Standard and Qubit-Efficient Quantum Optimization on Real Hardware [3.652509571098291]
4つのNPハード問題に対するゲートベース量子最適化のベンチマークを行った。
VQE,CVaR-VQE,標準,マルチ角,ウォームスタートQAOA,および量子ビット効率PCEおよびQRAOについて検討した。
247個のメソッド-インスタンスの組み合わせで、トランスパイル回路サイズ、ハードウェア結果、および独立エラーゲート数フィデリティプロキシを報告した。
論文 参考訳(メタデータ) (2026-07-13T14:53:50Z) - Agreement-Constrained Probabilistic Minimum Bayes Risk Decoding [51.82883249233765]
本稿では,知識蒸留モデルを利用してスコア行列の完成を導出する,合意制約付きPMBR復号法を提案する。
我々のAC-PMBR復号法は,行列補完の近似誤差を最大3倍に改善し,PMBR復号法と比較して高い翻訳品質を実現した。
論文 参考訳(メタデータ) (2025-12-01T06:16:47Z) - Qinco2: Vector Compression and Search with Improved Implicit Neural Codebooks [23.598010051403225]
QINCo2は,BigANNの16バイトベクトル圧縮では34%,Deep1Mでは8バイトエンコーディングでは24%の検索精度向上を実現している。
ベクトル圧縮のためのQINCo2と、数十億近い近接探索のための4つのデータセットの実験を行った。
論文 参考訳(メタデータ) (2025-01-06T15:20:22Z) - Kernel Quantization for Efficient Network Compression [59.55192551370948]
Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。
重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。
ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
論文 参考訳(メタデータ) (2020-03-11T08:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。