論文の概要: VIBE: Vector Index Benchmark for Embeddings

• arxiv url: http://arxiv.org/abs/2505.17810v1
• Date: Fri, 23 May 2025 12:28:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.060833
• Title: VIBE: Vector Index Benchmark for Embeddings
• Title（参考訳）: VIBE: 埋め込みのためのベクトルインデックスベンチマーク
• Authors: Elias Jääsaari, Ville Hyvönen, Matteo Ceccarello, Teemu Roos, Martin Aumüller,
• Abstract要約: 本稿では,ANNアルゴリズムをベンチマークするオープンソースプロジェクトであるVector Index Benchmark for Embeddings (VIBE)を紹介する。 VIBEには、現代のアプリケーションに特徴的な密着した埋め込みモデルを使用して、ベンチマークデータセットを作成するパイプラインが含まれている。 我々は、VIBEを用いてSOTAベクトルインデックスの総合的な評価を行い、12の分布内および6の分布外データセット上で21の実装をベンチマークする。
• 参考スコア（独自算出の注目度）: 5.449089394751681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximate nearest neighbor (ANN) search is a performance-critical component of many machine learning pipelines. Rigorous benchmarking is essential for evaluating the performance of vector indexes for ANN search. However, the datasets of the existing benchmarks are no longer representative of the current applications of ANN search. Hence, there is an urgent need for an up-to-date set of benchmarks. To this end, we introduce Vector Index Benchmark for Embeddings (VIBE), an open source project for benchmarking ANN algorithms. VIBE contains a pipeline for creating benchmark datasets using dense embedding models characteristic of modern applications, such as retrieval-augmented generation (RAG). To replicate real-world workloads, we also include out-of-distribution (OOD) datasets where the queries and the corpus are drawn from different distributions. We use VIBE to conduct a comprehensive evaluation of SOTA vector indexes, benchmarking 21 implementations on 12 in-distribution and 6 out-of-distribution datasets.
• Abstract（参考訳）: 近似近接探索(ANN)は、多くの機械学習パイプラインのパフォーマンスクリティカルなコンポーネントである。 ANN検索におけるベクトルインデックスの性能評価には,厳密なベンチマークが不可欠である。 しかし、既存のベンチマークのデータセットは、ANN検索の現在の応用をもはや代表していない。 したがって、最新のベンチマークセットが緊急に必要である。 この目的のために、ANNアルゴリズムをベンチマークするオープンソースプロジェクトであるVector Index Benchmark for Embeddings (VIBE)を紹介した。 VIBEには、検索拡張生成(RAG)など、現代のアプリケーションに特徴的な密着した埋め込みモデルを使用して、ベンチマークデータセットを作成するパイプラインが含まれている。 実世界のワークロードを複製するために、クエリとコーパスを異なるディストリビューションから描画する、アウト・オブ・ディストリビューション(OOD)データセットも含んでいます。 我々は、VIBEを用いてSOTAベクトルインデックスの総合的な評価を行い、12の分布内および6の分布外データセット上で21の実装をベンチマークする。

関連論文リスト

• HAKES: Scalable Vector Database for Embedding Search Service [16.034584281180006]
  我々は,並列な読み書きワークロード下で高いスループットと高いリコールを実現するベクトルデータベースを構築した。 我々のインデックスは、高リコール領域と同時読み書きワークロード下でインデックスベースラインより優れています。 nameysはスケーラブルで、ベースラインよりも最大16タイムで高いスループットを実現します。
  論文  参考訳（メタデータ） (2025-05-18T19:26:29Z)
• Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
  本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。 本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-09-10T12:46:23Z)
• Do Text-to-Vis Benchmarks Test Real Use of Visualisations? [11.442971909006657]
  本稿では,ベンチマークデータセットと公開リポジトリのコードを比較した実証的研究を通じて,ベンチマークが実世界の利用を反映しているかどうかを考察する。 その結果,実世界の実例と同一のチャート型,属性,行動の分布を評価できないという,大きなギャップがあることが判明した。 1つのデータセットは代表的であるが、実用的なエンドツーエンドベンチマークになるには広範囲な修正が必要である。 これは、ユーザの視覚的ニーズに本当に対処するシステムの開発をサポートするために、新しいベンチマークが必要であることを示している。
  論文  参考訳（メタデータ） (2024-07-29T06:13:28Z)
• The Impacts of Data, Ordering, and Intrinsic Dimensionality on Recall in Hierarchical Navigable Small Worlds [0.09208007322096533]
  調査は、HNSWがデータセットのスペクトルにわたって有効であることに焦点を当てている。 我々は、KN(K Nearest Neighbours)探索と比較して、近似HNSW探索のリコールが、ベクトル空間の固有次元と結びついていることを発見した。 一般的なベンチマークデータセットをKNNの代わりにHNSWで実行することで、いくつかのモデルではランキングを最大3ポジションシフトすることができる。
  論文  参考訳（メタデータ） (2024-05-28T04:16:43Z)
• Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
  SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。 SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• GEMv2: Multilingual NLG Benchmarking in a Single Line of Code [161.1761414080574]
  Generation, Evaluation, and Metrics Benchmarkは、データセット、モデル、メトリック開発者のためのモジュラーインフラストラクチャを提供する。 GEMv2は51言語で40のドキュメントデータセットをサポートする。 すべてのデータセットのモデルはオンラインで評価でき、インタラクティブなデータカード作成とレンダリングツールによって、生きたベンチマークに新しいデータセットを簡単に追加できます。
  論文  参考訳（メタデータ） (2022-06-22T17:52:30Z)
• GRecX: An Efficient and Unified Benchmark for GNN-based Recommendation [55.55523188090938]
  我々はGNNベースのレコメンデーションモデルのベンチマークを行うためのオープンソースのフレームワークであるGRecXを紹介する。 GRecXは、GNNベースのレコメンデーションベンチマークを構築するためのコアライブラリと、人気のあるGNNベースのレコメンデーションモデルの実装で構成されている。 我々はGRecXを用いて実験を行い、実験の結果、GRecXはGNNベースの推薦基準を効率的かつ統一的にトレーニングし、ベンチマークすることができることを示した。
  論文  参考訳（メタデータ） (2021-11-19T17:45:46Z)
• Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks [132.29772160843825]
  条件付き生成逆数ネットワーク(cGAN)は,その条件に基づいて画像を生成するように設計されている。 既存のメソッドは、すべてのクラスで同じ生成アーキテクチャを使っている。 本稿では,各クラスごとに異なるアーキテクチャを見つけるためにNASを採用する新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2020-06-25T07:05:28Z)
• NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting and Localization [101.13851473792334]
  我々は,5,109枚の画像からなる大規模集束群集NWPU-Crowdを構築し,合計2,133,375個の点と箱を付加したアノテートヘッドを構築した。 他の実世界のデータセットと比較すると、様々な照明シーンを含み、最大密度範囲 (020,033) を持つ。 本稿では,データ特性について述べるとともに,主要なSOTA(State-of-the-art)手法の性能を評価し,新たなデータに生じる問題を分析する。
  論文  参考訳（メタデータ） (2020-01-10T09:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。