論文の概要: PDX: A Data Layout for Vector Similarity Search

• arxiv url: http://arxiv.org/abs/2503.04422v1
• Date: Thu, 06 Mar 2025 13:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:58:37.723375
• Title: PDX: A Data Layout for Vector Similarity Search
• Title（参考訳）: PDX:ベクトル類似性検索のためのデータレイアウト
• Authors: Leonardo Kuffo, Elena Krippner, Peter Boncz,
• Abstract要約: Partition Across Dimensions (PDX) は、複数のベクトルを1ブロックに格納するベクトルのためのデータレイアウトである。 PDXが標準水平ベクトルストレージ(40%高速化)でSIMD最適化距離カーネルを破る さらにフレキシブルな次元探索戦略であるPDX-BONDを導入し,正確な探索性能と近似探索性能を向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We propose Partition Dimensions Across (PDX), a data layout for vectors (e.g., embeddings) that, similar to PAX [6], stores multiple vectors in one block, using a vertical layout for the dimensions (Figure 1). PDX accelerates exact and approximate similarity search thanks to its dimension-by-dimension search strategy that operates on multiple-vectors-at-a-time in tight loops. It beats SIMD-optimized distance kernels on standard horizontal vector storage (avg 40% faster), only relying on scalar code that gets auto-vectorized. We combined the PDX layout with recent dimension-pruning algorithms ADSampling [19] and BSA [52] that accelerate approximate vector search. We found that these algorithms on the horizontal vector layout can lose to SIMD-optimized linear scans, even if they are SIMD-optimized. However, when used on PDX, their benefit is restored to 2-7x. We find that search on PDX is especially fast if a limited number of dimensions has to be scanned fully, which is what the dimension-pruning approaches do. We finally introduce PDX-BOND, an even more flexible dimension-pruning strategy, with good performance on exact search and reasonable performance on approximate search. Unlike previous pruning algorithms, it can work on vector data "as-is" without preprocessing; making it attractive for vector databases with frequent updates.
• Abstract（参考訳）: PAX [6] と同様、複数のベクトルを1ブロックに格納するベクトル(例えば埋め込み)のデータレイアウトであるPDX(Partition Dimensions Across)を提案する。 PDXは、タイトなループで複数ベクトル・ア・ア・タイムで動作するディメンション・バイ・ディメンション・サーチ戦略により、正確で近似的な類似性探索を加速する。 SIMD最適化された距離カーネルを標準水平ベクトルストレージ(40%以上高速)で上回り、自動ベクトル化されるスカラーコードにのみ依存する。 我々はPDXレイアウトと最近の次元解析アルゴリズムADSampling[19]とBSA[52]を組み合わせて、近似ベクトル探索を高速化した。 水平ベクトル配置上のこれらのアルゴリズムは、SIMD最適化されたリニアスキャンに負ける可能性がある。 しかし、PDXで使用すると、その利益は2-7倍に回復する。 PDX上の探索は、有限次元が完全にスキャンされる必要がある場合、特に高速であることが分かる。 PDX-BONDは,よりフレキシブルなディメンション・プルーニング・ストラテジーであり,正確な探索性能と近似探索性能が良好である。 以前のプルーニングアルゴリズムとは異なり、前処理なしでベクターデータ"as-is"を処理できるため、頻繁な更新を伴うベクターデータベースにとっては魅力的である。

関連論文リスト

• Lossless Compression of Vector IDs for Approximate Nearest Neighbor Search [11.938555573590964]
  インデックスのサイズを減らすために、ロスシー圧縮が広く適用されている。 逆ファイルとグラフベースのインデックスでは、ベクトルIDやリンクなどの補助データはほとんどのストレージコストを表すことができる。 いくつかのデータセットに対して、これらの手法は量子化されたベクトルコードも無害に圧縮できることを示す。
  論文  参考訳（メタデータ） (2025-01-16T20:45:11Z)
• GleanVec: Accelerating vector search with minimalist nonlinear dimensionality reduction [1.1599570446840546]
  クロスモーダル検索(例えば、画像を見つけるためにテキストクエリを使用する)は急速に勢いを増している。 クエリはデータベースベクトルとは異なる統計分布を持つことが多いため、高い精度を達成することは困難である。 本稿では,高次元ベクトル探索を高速化するために,次元削減のための線形非線形手法を提案する。
  論文  参考訳（メタデータ） (2024-10-14T21:14:27Z)
• Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
  本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。 本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-09-10T12:46:23Z)
• MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings [15.275864151890511]
  マルチベクトル探索を単一ベクトル類似性探索に還元する検索機構であるMUVERA(MUlti-VEctor Retrieval Algorithm)を導入する。 MUVERAはBEIR検索データセットの多種多様なセットに対して、一貫して優れたエンドツーエンドのリコールとレイテンシを実現する。
  論文  参考訳（メタデータ） (2024-05-29T20:40:20Z)
• Efficient Data Access Paths for Mixed Vector-Relational Search [8.80592433569832]
  機械学習とベクトル埋め込みを用いたデータ処理手法の採用は、ベクトルデータ管理のためのシステム構築に大きな関心を喚起した。 ベクトルデータ管理の主流のアプローチは、ベクトル埋め込み全体を高速に検索するために特別なインデックス構造を使用することであるが、一度他の(メタ)データと組み合わせると、検索クエリはリレーショナル属性に対して選択的になる。 ベクトルインデックスは従来の関係データアクセスと異なるため、効率的な混合ベクトル関係探索のための代替アクセスパスを再検討し分析する。
  論文  参考訳（メタデータ） (2024-03-23T11:34:17Z)
• LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
  本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。 LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2023-12-26T21:14:59Z)
• Linearized Wasserstein dimensionality reduction with approximation guarantees [65.16758672591365]
  LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。 我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。 また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-02-14T22:12:16Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• The Case for Learned Spatial Indexes [62.88514422115702]
  我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。 i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。 また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
  論文  参考訳（メタデータ） (2020-08-24T12:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。