論文の概要: Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes?

• arxiv url: http://arxiv.org/abs/2409.06464v1
• Date: Tue, 10 Sep 2024 12:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 15:56:14.144090
• Title: Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes?
• Title（参考訳）: Dense and Sparse Retrieversのオペレーショナルアドバイス:HNSW, Flat, Inverted Indexes?
• Authors: Jimmy Lin,
• Abstract要約: 本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。 本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 62.57689536630933
• License:
• Abstract: Practitioners working on dense retrieval today face a bewildering number of choices. Beyond selecting the embedding model, another consequential choice is the actual implementation of nearest-neighbor vector search. While best practices recommend HNSW indexes, flat vector indexes with brute-force search represent another viable option, particularly for smaller corpora and for rapid prototyping. In this paper, we provide experimental results on the BEIR dataset using the open-source Lucene search library that explicate the tradeoffs between HNSW and flat indexes (including quantized variants) from the perspectives of indexing time, query evaluation performance, and retrieval quality. With additional comparisons between dense and sparse retrievers, our results provide guidance for today's search practitioner in understanding the design space of dense and sparse retrievers. To our knowledge, we are the first to provide operational advice supported by empirical experiments in this regard.
• Abstract（参考訳）: 今日、密集した検索に取り組んでいる実践者は、膨大な数の選択肢に直面している。 埋め込みモデルの選択以外にも、最も近いベクトル探索の実際の実装は、別の連続的な選択である。 ベストプラクティスは、HNSWインデックスを推奨するが、ブルートフォースサーチによる平坦なベクトルインデックスは、特により小さなコーパスと高速なプロトタイピングの選択肢である。 本稿では,HNSWとフラットインデックス(量子化変量を含む)のトレードオフを,インデックス時間,クエリ評価性能,検索品質の観点から説明するためのオープンソースのLucene検索ライブラリを用いて,BEIRデータセットの実験結果を示す。 本研究は,高密度・スパースレトリバーと高密度・スパースレトリバーの比較により,高密度・スパースレトリバーの設計空間の理解における今日の探索実践者へのガイダンスを提供する。 私たちの知識では、この点に関して実証実験によって支援された運用アドバイスを最初に提供します。

関連論文リスト

• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Semi-Parametric Retrieval via Binary Token Index [71.78109794895065]
  Semi-parametric Vocabulary Disentangled Retrieval (SVDR) は、新しい半パラメトリック検索フレームワークである。 既存のニューラル検索手法に似た、高い有効性のための埋め込みベースのインデックスと、従来の用語ベースの検索に似た、迅速かつ費用対効果の高いセットアップを可能にするバイナリトークンインデックスの2つのタイプをサポートする。 埋め込みベースインデックスを使用する場合の高密度検索器DPRよりも3%高いトップ1検索精度と、バイナリトークンインデックスを使用する場合のBM25よりも9%高いトップ1検索精度を実現する。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• Efficient Data Access Paths for Mixed Vector-Relational Search [8.80592433569832]
  機械学習とベクトル埋め込みを用いたデータ処理手法の採用は、ベクトルデータ管理のためのシステム構築に大きな関心を喚起した。 ベクトルデータ管理の主流のアプローチは、ベクトル埋め込み全体を高速に検索するために特別なインデックス構造を使用することであるが、一度他の(メタ)データと組み合わせると、検索クエリはリレーショナル属性に対して選択的になる。 ベクトルインデックスは従来の関係データアクセスと異なるため、効率的な混合ベクトル関係探索のための代替アクセスパスを再検討し分析する。
  論文  参考訳（メタデータ） (2024-03-23T11:34:17Z)
• LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
  本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。 LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2023-12-26T21:14:59Z)
• Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
  しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。 本稿では,高密度検索のための新しい検索ユニット,命題を提案する。 実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-11T18:57:35Z)
• Lexically-Accelerated Dense Retrieval [29.327878974130055]
  LADR (Lexically-Accelerated Dense Retrieval) は, 既存の高密度検索モデルの効率を向上する, 簡便な手法である。 LADRは、標準ベンチマークでの徹底的な検索と同等の精度とリコールの両方を一貫して達成する。
  論文  参考訳（メタデータ） (2023-07-31T15:44:26Z)
• WISK: A Workload-aware Learned Index for Spatial Keyword Queries [46.96314606580924]
  本稿では,空間的キーワードクエリの学習指標であるWISKを提案する。 We show that WISK achieve up to 8x speedup in querying time with comparable storage overhead。
  論文  参考訳（メタデータ） (2023-02-28T03:45:25Z)
• Standard Vs Uniform Binary Search and Their Variants in Learned Static Indexing: The Case of the Searching on Sorted Data Benchmarking Software Platform [0.0]
  学習者にとって、bf SOSDソフトウェアに関して、標準ルーチンの使用はUniformよりも優れていることを示す。 実験の結果,一様二項探索とk-ary Searchは学習空間の節約に有用であることが示唆された。
  論文  参考訳（メタデータ） (2022-01-05T11:46:16Z)
• The Case for Learned Spatial Indexes [62.88514422115702]
  我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。 i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。 また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
  論文  参考訳（メタデータ） (2020-08-24T12:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。