論文の概要: No More K-means:Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval

• arxiv url: http://arxiv.org/abs/2605.30120v1
• Date: Thu, 28 May 2026 15:53:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 00:00:30.959527
• Title: No More K-means:Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval
• Title（参考訳）: K-meansは不要:効率的なマルチベクトル検索のためのシングルステージスパース符号化
• Authors: Lixuan Guo, Yifei Wang, Tiansheng Wen, Aosong Feng, Stefanie Jegelka, Chenyu You,
• Abstract要約: SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
• 参考スコア（独自算出の注目度）: 51.43543998583709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-vector retrieval (MVR) models, exemplified by ColBERT, have established new benchmarks in retrieval accuracy by preserving fine-grained token-level interactions. However, this granularity imposes prohibitive storage and retrieval efficiency bottlenecks: to manage the immense memory footprint and computational overhead of billion-scale token vectors, state-of-the-art systems are forced to rely on aggressive dimension reduction and complex clustering (e.g., K-means). This compromise introduces two critical limitations: excessive indexing latency of clustering large-scale corpora and semantic information loss inherent to compression. In this paper, we propose Single-stage Sparse Retrieval (SSR}, a paradigm shift that replaces expensive clustering with efficient sparse coding. Instead of compressing features into low-dimensional dense vectors, we utilize Sparse Autoencoder (SAE) to project token embeddings into a high-dimensional but highly sparse representation. This transformation enables us to bypass vector clustering entirely and leverage inverted indexing for precise, high-throughput retrieval. Extensive experiments on the BEIR benchmark demonstrate that SSR achieves a "trifecta" of improvements: it reduces indexing time by 15x compared to ColBERTv2, halves retrieval latency, and simultaneously improves retrieval performance over leading baselines.
• Abstract（参考訳）: ColBERTによって実証されたマルチベクトル検索(MVR)モデルは、きめ細かいトークンレベルの相互作用を保存することによって、検索精度の新たなベンチマークを確立した。 しかし、この粒度は、数十億のトークンベクトルの膨大なメモリフットプリントと計算オーバーヘッドを管理するために、攻撃的な次元削減と複雑なクラスタリング(例えばK平均)に頼らざるを得ない。 この妥協は、クラスタリングの大規模コーパスの過剰インデックス化遅延と、圧縮に固有のセマンティック情報損失という2つの重要な制限を導入する。 本稿では、高価なクラスタリングを効率的なスパース符号化に置き換えるパラダイムシフトであるSSR(Single-stage Sparse Retrieval)を提案する。 低次元密度ベクトルに特徴を圧縮する代わりに、スパースオートエンコーダ(SAE)を用いてトークン埋め込みを高次元かつ高度にスパース表現に投影する。 この変換により、ベクトルクラスタリングを完全にバイパスし、逆インデックス化を利用して高精度な高スループット検索を行うことができる。 BEIRベンチマークの大規模な実験では、SSRはColBERTv2に比べてインデックス作成時間を15倍短縮し、検索レイテンシを半減し、主要なベースラインよりも検索性能を向上する、という"トリフェクタ"を達成している。

関連論文リスト

• Efficient Multivector Retrieval with Token-Aware Clustering and Hierarchical Indexing [11.098422338598454]
  TACHIOMは、トークンレベルの構造を利用してクラスタリングと検索の両方を著しく高速化するマルチベクタ検索システムである。 センチロイド割り当て時のトークンの分布を考慮し、TACHIOMは数百万のセンチロイドに容易にスケールでき、センチロイドのみを用いた高精度な文書スコアリングを可能にする。
  論文  参考訳（メタデータ） (2026-04-30T17:30:15Z)
• Towards Practical Lossless Neural Compression for LiDAR Point Clouds [84.36825469211375]
  高精度な幾何学的詳細の極端に広い範囲は、効率的な文脈モデリングを妨げる。 私たちのフレームワークは2つの軽量モジュールで構成されています。 実験では、リアルタイムに競争力のある圧縮性能を示す。
  論文  参考訳（メタデータ） (2026-03-26T10:02:07Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• Multivector Reranking in the Era of Strong First-Stage Retrievers [11.098422338598454]
  2つの公開データセット上で、最先端のマルチベクタ検索手法を再現する。 トークンレベルの集合フェーズを単一ベクトル文書検索器に置き換えることで,より小さく,より意味的に一貫性のある候補セットが生成されることを示す。 我々の2段階のアプローチは、最先端のマルチベクター検索システムに対して24ドル以上のスピードアップを実現し、同等または優れた検索品質を維持しています。
  論文  参考訳（メタデータ） (2026-01-08T18:22:18Z)
• From HNSW to Information-Theoretic Binarization: Rethinking the Architecture of Scalable Vector Search [0.7804710977378487]
  本稿では,支配的な"HNSW + float32 + cosine similarity"スタックのアーキテクチャ的制約を分析する。 最大情報二項化(MIB)に基づく代替情報理論アーキテクチャの導入と実証評価を行った。 その結果,完全精度のシステムに匹敵する検索品質を示すとともに,レイテンシを大幅に低減し,高い要求レートで一定のスループットを維持することができた。
  論文  参考訳（メタデータ） (2025-12-16T23:24:37Z)
• Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
  LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。 既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。 筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
  論文  参考訳（メタデータ） (2025-08-28T06:36:10Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。