論文の概要: A Comprehensive Empirical Evaluation of Vector Database Systems for Approximate Nearest Neighbor Search: Performance, Quality, and Resource Trade-offs
- arxiv url: http://arxiv.org/abs/2608.12812v1
- Date: Thu, 13 Aug 2026 04:41:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.397573
- Title: A Comprehensive Empirical Evaluation of Vector Database Systems for Approximate Nearest Neighbor Search: Performance, Quality, and Resource Trade-offs
- Title（参考訳）: 近似近傍探索のためのベクトルデータベースシステムの総合的評価:性能,品質,資源トレードオフ
- Abstract要約: FAISS, Qdrant, Milvus, Weaviate, Chroma, pgvector, LanceDBの7つのベクトルデータベースシステムを評価した。
提案手法は,従来のコンピュータビジョン記述子からトランスフォーマーベースのテキスト埋め込みに至るまで,6つの多様なデータセットにまたがる。
我々は,実践者のためのシステム選択ガイドラインを導き,ベンチマークフレームワークをオープンソースソフトウェアとしてリリースする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Vector databases have emerged as critical infrastructure for modern artificial intelligence applications, particularly retrieval-augmented generation (RAG), semantic search, and recommendation systems. Despite their growing importance, there remains a significant gap in comprehensive, reproducible benchmarks that jointly evaluate retrieval quality, query latency, throughput, and resource utilization. We present a systematic empirical evaluation of seven prominent vector database systems: FAISS, Qdrant, Milvus, Weaviate, Chroma, pgvector, and LanceDB. Our methodology spans six diverse datasets, from classical computer-vision descriptors (SIFT, GIST) to transformer-based text embeddings (MS MARCO, GloVe), encompassing over 4 million vectors at dimensionalities from 96 to 960. We measure 15 metrics spanning retrieval quality (Recall@K, Precision@K, MRR, NDCG@K, Hit Rate@K), query performance (latency percentiles, QPS, cold-start latency), and resource consumption (index build time, memory, storage). On SIFT1M, FAISS achieves the highest single-node throughput (866 QPS) but lacks database operational features; Weaviate provides the best out-of-the-box recall (> 99%); Qdrant offers the best latency among full databases (4.55~ms median); and LanceDB trades retrieval quality for substantially faster index construction. We derive system-selection guidelines for practitioners and release our benchmarking framework as open-source software.
- Abstract（参考訳）: ベクトルデータベースは、現代の人工知能アプリケーション、特に検索強化世代(RAG)、セマンティックサーチ、レコメンデーションシステムにとって重要な基盤として登場した。
その重要性は増しているが、検索品質、クエリ待ち時間、スループット、リソース利用を共同で評価する包括的な再現可能なベンチマークには、大きなギャップがある。
本稿では, FAISS, Qdrant, Milvus, Weaviate, Chroma, pgvector, LanceDBの7つの重要なベクトルデータベースシステムについて, 系統的実証評価を行った。
提案手法は,従来のコンピュータビジョン記述子 (SIFT, GIST) から変換器ベースのテキスト埋め込み (MS MARCO, GloVe) までの6つの多様なデータセットにまたがる。
検索品質(Recall@K、Precision@K、MRR、NDCG@K、Hit Rate@K)、クエリパフォーマンス(レイテンシパーセンタイル、QPS、コールドスタートレイテンシ)、リソース消費(インデクシングビルド時間、メモリ、ストレージ)にまたがる15のメトリクスを測定します。
SIFT1Mでは、FAISSは最高のシングルノードスループット(866 QPS)を達成しているが、データベースの運用機能に欠けており、Weaviateは最高のアウト・オブ・ボックスリコール(>99%)を提供し、Qdrantはフルデータベース間で最高のレイテンシ(4.55～ms)を提供し、LanceDBはインデックス構築を大幅に高速化するために検索品質を取引している。
我々は,実践者のためのシステム選択ガイドラインを導き,ベンチマークフレームワークをオープンソースソフトウェアとしてリリースする。
関連論文リスト
- Intelligent Multimodal Retrieval and Reasoning for Geospatial Knowledge Discovery on the I-GUIDE Platform [40.027921235408215]
本稿では, I-GUIDEプラットフォームに組み込み, マルチモーダルな地理空間検索拡張生成(RAG)システムであるI-GUIDE Smart Searchを提案する。
このシステムは、OpenSearchキーワード、ベクトル、空間インデックスをNeo4jナレッジグラフとメモリ対応クエリ拡張のための反復RAGパイプラインと組み合わせる。
シングルA100 RAGデプロイメントでは、I-GUIDE Smart Searchは100人の同時シミュレートされたユーザに対してインタラクティブな利用をサポートし、クエリ毎の20-50 LLMコールにもかかわらず、p50レイテンシが25秒近くで毎秒4.4リクエストに達した。
論文 参考訳（メタデータ） (2026-06-14T14:39:29Z) - CSR-RAG: An Efficient Retrieval System for Text-to-SQL on the Enterprise Scale [0.0]
本稿では, 文脈, 構造, 関係性検索からなるハイブリッド検索システム (RAG) を提案する。
我々は、CSR-RAGが最大40%の精度と80%以上のリコールを実現し、コモディティデータセンターハードウェア上では30ミリ秒という無視可能な平均クエリ生成遅延を発生させることを示した。
論文 参考訳（メタデータ） (2026-01-10T13:20:07Z) - From HNSW to Information-Theoretic Binarization: Rethinking the Architecture of Scalable Vector Search [0.7804710977378487]
本稿では,支配的な"HNSW + float32 + cosine similarity"スタックのアーキテクチャ的制約を分析する。
最大情報二項化(MIB)に基づく代替情報理論アーキテクチャの導入と実証評価を行った。
その結果,完全精度のシステムに匹敵する検索品質を示すとともに,レイテンシを大幅に低減し,高い要求レートで一定のスループットを維持することができた。
論文 参考訳（メタデータ） (2025-12-16T23:24:37Z) - Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models [0.0]
本稿では,ベクトルベースエージェントRAGをハイブリッド検索とメタデータフィルタリングを用いて比較した最初の体系的評価を行う。
検索指標(MRR, Recall@5), LLM-as-a-judgeのペア比較, レイテンシ, 前処理コストを計測する。
以上の結果から,金融Q&Aシステムに先進的なRAG技術を適用することにより,検索精度,回答品質が向上し,生産における費用対効果のトレードオフが考慮されることが明らかとなった。
論文 参考訳（メタデータ） (2025-11-22T20:06:25Z) - LLM-based Multi-Agent Blackboard System for Information Discovery in Data Science [69.1690891731311]
従来のAIモデルのためのブラックボードアーキテクチャに着想を得た,新しいマルチエージェント通信パラダイムを提案する。
このフレームワークでは、中央エージェントが共有ブラックボードにリクエストをポストし、自律的な従属エージェントがその能力に基づいて応答する。
明示的なデータ発見を必要とする3つのベンチマークに対して,本手法の評価を行った。
論文 参考訳（メタデータ） (2025-09-30T22:34:23Z) - Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。
RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。
製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
論文 参考訳（メタデータ） (2025-06-29T08:34:59Z) - Cost-Effective, Low Latency Vector Search with Azure Cosmos DB [14.76627855468578]
Azure Cosmos DBのようなクラウドネイティブな運用データベース内に,スケーラブルで高性能で費用効率の高いベクトル検索システムを構築することができる,と私たちは主張する。
このシステムは、既存のインデックスツリーに格納されたパーティション毎に単一のベクトルインデックスを使用し、基礎となるデータと同期する。
1000万のベクトルにまたがるインデックス上で20msのクエリレイテンシをサポートし、更新のリコールが安定しており、PineconeやZil Diskのサーバレスエンタープライズ製品と比較して約43倍、12倍低いクエリコストが提供される。
論文 参考訳（メタデータ） (2025-05-09T08:53:59Z) - CoIR: A Comprehensive Benchmark for Code Information Retrieval Models [52.61625841028781]
COIR(Code Information Retrieval Benchmark)は、コード検索機能を評価するために設計された、堅牢で包括的なベンチマークである。
COIRは、厳密にキュレートされた10のコードデータセットで構成され、7つの異なるドメインにまたがる8つの特有の検索タスクにまたがる。
我々は,COIRを用いた9つの広く使用されている検索モデルを評価し,最先端システムにおいても,コード検索タスクの実行に重大な困難があることを明らかにする。
論文 参考訳（メタデータ） (2024-07-03T07:58:20Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。
本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。
多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文 参考訳（メタデータ） (2024-04-19T22:54:54Z) - DNS-Rec: Data-aware Neural Architecture Search for Recommender Systems [79.76519917171261]
本稿では,SRS(Sequential Recommender Systems)における計算オーバーヘッドと資源非効率性について述べる。
本稿では, プルーニング法と高度なモデル設計を組み合わせた革新的な手法を提案する。
我々の主な貢献は、リコメンダシステム(DNS-Rec)のためのデータ対応ニューラルアーキテクチャ検索の開発である。
論文 参考訳（メタデータ） (2024-02-01T07:22:52Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳（メタデータ） (2022-07-20T17:47:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。