論文の概要: Efficient Data Access Paths for Mixed Vector-Relational Search

• arxiv url: http://arxiv.org/abs/2403.15807v1
• Date: Sat, 23 Mar 2024 11:34:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 20:52:58.881548
• Title: Efficient Data Access Paths for Mixed Vector-Relational Search
• Title（参考訳）: 混合ベクトル関係探索のための効率的なデータアクセスパス
• Authors: Viktor Sanca, Anastasia Ailamaki,
• Abstract要約: 機械学習とベクトル埋め込みを用いたデータ処理手法の採用は、ベクトルデータ管理のためのシステム構築に大きな関心を喚起した。 ベクトルデータ管理の主流のアプローチは、ベクトル埋め込み全体を高速に検索するために特別なインデックス構造を使用することであるが、一度他の(メタ)データと組み合わせると、検索クエリはリレーショナル属性に対して選択的になる。 ベクトルインデックスは従来の関係データアクセスと異なるため、効率的な混合ベクトル関係探索のための代替アクセスパスを再検討し分析する。
• 参考スコア（独自算出の注目度）: 8.80592433569832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of machine learning capabilities and the adoption of data processing methods using vector embeddings sparked a great interest in creating systems for vector data management. While the predominant approach of vector data management is to use specialized index structures for fast search over the entirety of the vector embeddings, once combined with other (meta)data, the search queries can also become selective on relational attributes - typical for analytical queries. As using vector indexes differs from traditional relational data access, we revisit and analyze alternative access paths for efficient mixed vector-relational search. We first evaluate the accurate but exhaustive scan-based search and propose hardware optimizations and alternative tensor-based formulation and batching to offset the cost. We outline the complex access-path design space, primarily driven by relational selectivity, and the decisions to consider when selecting an exhaustive scan-based search against an approximate index-based approach. Since the vector index primarily avoids expensive computation across the entire dataset, contrary to the common relational knowledge, it is better to scan at lower selectivity and probe at higher, with a cross-point between the two approaches dictated by data dimensionality and the number of concurrent search queries.
• Abstract（参考訳）: 機械学習能力の急速な成長とベクトル埋め込みを用いたデータ処理手法の採用は、ベクトルデータ管理システムの構築に大きな関心を喚起した。 ベクトルデータ管理の主要なアプローチは、ベクトル埋め込み全体を高速に検索するために特別なインデックス構造を使用することであるが、一度他の(メタ)データと組み合わせると、検索クエリは、分析クエリに典型的なリレーショナル属性に選択的になる。 ベクトルインデックスは従来の関係データアクセスと異なるため、効率的な混合ベクトル関係探索のための代替アクセスパスを再検討し分析する。 まず, 高精度だが網羅的なスキャンベース探索を評価し, コストを相殺するために, ハードウェア最適化と代替テンソルベースの定式化とバッチ化を提案する。 本稿では,リレーショナルセレクティビティを主体とした複雑なアクセスパス設計空間の概要と,近似インデックスベースのアプローチに対して網羅的なスキャンベース探索を選択する際の考慮すべき決定について述べる。 ベクトルインデックスは、一般的なリレーショナル知識とは対照的に、データセット全体にわたる高価な計算を主に避けるため、データ次元と同時検索クエリ数によって規定される2つのアプローチの交差点によって、より低い選択率でスキャンし、より高い探索を行う方がよい。

関連論文リスト

• GleanVec: Accelerating vector search with minimalist nonlinear dimensionality reduction [1.1599570446840546]
  クロスモーダル検索(例えば、画像を見つけるためにテキストクエリを使用する)は急速に勢いを増している。 クエリはデータベースベクトルとは異なる統計分布を持つことが多いため、高い精度を達成することは困難である。 本稿では,高次元ベクトル探索を高速化するために,次元削減のための線形非線形手法を提案する。
  論文  参考訳（メタデータ） (2024-10-14T21:14:27Z)
• Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
  本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。 本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-09-10T12:46:23Z)
• Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders [77.84801537608651]
  クエリ-イムペアを共同で符号化することで類似性を計算するクロスエンコーダ(CE)モデルは、クエリ-イム関連性を推定する埋め込みベースモデル(デュアルエンコーダ)よりも優れている。 本稿では,潜時クエリとアイテム埋め込みを効率的に計算してCEスコアを近似し,CE類似度を近似したk-NN探索を行うスパース行列分解法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T17:14:34Z)
• Generative Retrieval as Multi-Vector Dense Retrieval [71.75503049199897]
  生成検索は、文書の識別子をエンドツーエンドで生成する。 それまでの研究は、原子識別子による生成的検索が単一ベクトル密度検索と等価であることを示した。 生成的検索と多ベクトル高密度検索は,文書の問合せに対する関連性を測定するのと同じ枠組みを共有していることを示す。
  論文  参考訳（メタデータ） (2024-03-31T13:29:43Z)
• Vector search with small radiuses [10.880913075221361]
  本稿では,ベクトル検索結果に応じて難しい決定を下す必要がある場合に着目する。 本研究では,クエリー・ツー・ベクター距離に基づいて,範囲探索結果の値を厳密にモデル化できることを示す。 これにより、範囲探索の指標 RSM が得られ、これは原則的であり、エンドツーエンドの評価を行なわずに計算が容易である。
  論文  参考訳（メタデータ） (2024-03-16T00:34:25Z)
• The Faiss library [54.589857872477445]
  Faissは、インデックス化手法と関連するプリミティブのツールキットで、ベクトルの検索、クラスタ化、圧縮、変換に使用される。 本稿では,ベクトル探索のトレードオフ空間とFaissの設計原理について,構造,最適化,インターフェースの観点から述べる。
  論文  参考訳（メタデータ） (2024-01-16T11:12:36Z)
• LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
  本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。 LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2023-12-26T21:14:59Z)
• High-Throughput Vector Similarity Search in Knowledge Graphs [17.41683819564348]
  最近のデータ管理システムでは,オンラインベクトル類似検索によるクエリ処理の拡張が提案されている。 本稿では,クエリの一部がベクトル類似性検索に対応するような,ハイブリッドなベクトル類似性検索(略してハイブリッドクエリ)に焦点を当てる。 本稿では,ハイブリッドクエリの高スループットバッチ処理のためのシステムHQIを提案する。
  論文  参考訳（メタデータ） (2023-04-04T16:19:15Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• Progressively Pretrained Dense Corpus Index for Open-Domain Question Answering [87.32442219333046]
  本稿では,段落エンコーダを事前学習するための簡易かつ資源効率の高い手法を提案する。 本手法は,事前学習に7倍の計算資源を使用する既存の高密度検索法より優れている。
  論文  参考訳（メタデータ） (2020-04-30T18:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。