論文の概要: An In-Depth Study of Filter-Agnostic Vector Search on a PostgreSQL Database System: [Experiments and Analysis]
- arxiv url: http://arxiv.org/abs/2603.23710v1
- Date: Tue, 24 Mar 2026 20:53:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 21:06:11.02209
- Title: An In-Depth Study of Filter-Agnostic Vector Search on a PostgreSQL Database System: [Experiments and Analysis]
- Title(参考訳): PostgreSQLデータベースシステムにおけるフィルタ非依存ベクトル探索の詳細な検討: [実験と解析]
- Abstract要約: Filtered Vector Search (FVS) は、現代のデータベースシステムにおけるセマンティック検索とGenAIアプリケーションをサポートするために重要である。
本稿では,本システムにおけるフィルタ非依存型FVSアルゴリズムの奥行き解析について述べる。
- 参考スコア(独自算出の注目度): 4.053815689522257
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Filtered Vector Search (FVS) is critical for supporting semantic search and GenAI applications in modern database systems. However, existing research most often evaluates algorithms in specialized libraries, making optimistic assumptions that do not align with enterprise-grade database systems. Our work challenges this premise by demonstrating that in a production-grade database system, commonly made assumptions do not hold, leading to performance characteristics and algorithmic trade-offs that are fundamentally different from those observed in isolated library settings. This paper presents the first in-depth analysis of filter-agnostic FVS algorithms within a production PostgreSQL-compatible system. We systematically evaluate post-filtering and inline-filtering strategies across a wide range of selectivities and correlations. Our central finding is that the optimal algorithm is not dictated by the cost of distance computations alone, but that system-level overheads that come from both distance computations and filter operations (like page accesses and data retrieval) play a significant role. We demonstrate that graph-based approaches (such as NaviX/ACORN) can incur prohibitive numbers of filter checks and system-level overheads, compared with clustering-based indexes such as ScaNN, often canceling out their theoretical benefits in real-world database environments. Ultimately, our findings provide the database community with crucial insights and practical guidelines, demonstrating that the optimal choice for a filter-agnostic FVS algorithm is not absolute, but rather a system-aware decision contingent on the interplay between workload characteristics and the underlying costs of data access in a real-world database architecture.
- Abstract(参考訳): Filtered Vector Search (FVS) は、現代のデータベースシステムにおけるセマンティック検索とGenAIアプリケーションをサポートするために重要である。
しかし,既存の研究はほとんどの場合,専門図書館におけるアルゴリズムの評価を行い,企業レベルのデータベースシステムと一致しない楽観的な仮定を下している。
我々の研究は、プロダクショングレードのデータベースシステムでは、一般的に想定されている仮定が保たないことを示すことで、この前提に挑戦する。
本稿では,実運用用PostgreSQL互換システムにおけるフィルタに依存しないFVSアルゴリズムの奥行き解析について述べる。
提案手法は,幅広い選択性および相関性にまたがって,ポストフィルタとインラインフィルタの戦略を体系的に評価する。
我々の中心的な発見は、最適アルゴリズムは距離計算のコストだけでは定まっていないが、距離計算とフィルタ操作(ページアクセスやデータ検索など)の両方から生じるシステムレベルのオーバーヘッドが重要な役割を果たすことである。
我々は、グラフベースのアプローチ(NaviX/ACORNなど)が、ScaNNのようなクラスタリングベースのインデックスと比較して、フィルタチェックやシステムレベルのオーバーヘッドの禁止回数を発生させることができることを実証した。
最終的に、我々の発見はデータベースコミュニティに重要な洞察と実践的ガイドラインを提供し、フィルタに依存しないFVSアルゴリズムの最適な選択は絶対ではなく、実際のデータベースアーキテクチャにおけるワークロード特性とデータアクセスの基盤となるコストとの相互作用をシステムに認識する決定であることを示した。
関連論文リスト
- Filter Learning for Subgraphs: Algebras and Performance Risk Bounds [63.46320825598287]
本稿では,部分的な観測の下でグラフフィルタを近似する部分グラフフィルタ学習の枠組みを提案する。
距離を意識したラプラシアン構造に基づく部分グラフフィルタ代数を開発し、効率的な近似のための構造化および制御可能なフィルタのクラスを定義する。
論文 参考訳(メタデータ) (2026-07-23T12:36:05Z) - FAVOR: Efficient Filter-Agnostic Vector ANNS Based on Selectivity-Aware Exclusion Distances [17.58209161125891]
FAVORは効率的なフィルタに依存しないベクトルANNSであり、任意のフィルタ条件をサポートしながら、様々な選択性レベルの安定した性能を維持している。
実世界のデータセットでの実験では、FAVORが1.3-5$times$ $Recall@10 = 95%$でより高いQPSを達成した。
論文 参考訳(メタデータ) (2026-05-08T14:11:49Z) - Filtered Approximate Nearest Neighbor Search in Vector Databases: System Design and Performance Analysis [0.5249805590164902]
Filtered Approximate Nearest Neighbor Search (FANNS) は、セマンティック検索とメタデータの制約を組み合わせるために用いられる。
本研究では,フィルタリング戦略の分類を体系化し,それらのベクトルへの統合性を評価する。
実験の結果,エンジン内のアルゴリズム適応がしばしば生のインデックス性能を上回ることがわかった。
論文 参考訳(メタデータ) (2026-02-11T23:40:26Z) - JAG: Joint Attribute Graphs for Filtered Nearest Neighbor Search [8.398505388767248]
JAG(Joint Attribute Graphs)は、グラフベースのアルゴリズムで、選択スペクトル全体にわたって堅牢なパフォーマンスを実現する。
実験の結果,JAGはスループットとリコールロバスト性の両方において,既存の最先端のベースラインを著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2026-02-10T20:00:51Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳(メタデータ) (2025-09-30T22:19:44Z) - How good are LLMs at Retrieving Documents in a Specific Domain? [3.282961543904818]
本稿では,ドメイン固有の評価データセットをキュレートして検索システムの性能を解析する自動手法を提案する。
本研究では,Large Language Models (LLMs) を用いたRAG(Retrieval of Augmented Generation)を組み込んで,自然言語クエリを用いた環境領域データの高品質な検索を行う。
論文 参考訳(メタデータ) (2025-08-25T19:47:21Z) - Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。
従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。
本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-11T06:53:27Z) - Billion-scale Similarity Search Using a Hybrid Indexing Approach with Advanced Filtering [49.1574468325115]
本稿では,CPU推論に最適化された数十億規模のデータセット上での複雑なフィルタリング機能を備えた類似度探索のための新しい手法を提案する。
提案手法は,従来のIVF-Flatインデックス構造を拡張し,多次元フィルタを統合する。
提案アルゴリズムは,高次元空間での高速な探索を可能にするため,高密度埋め込みと離散フィルタ特性を組み合わせる。
論文 参考訳(メタデータ) (2025-01-23T07:47:00Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳(メタデータ) (2023-07-21T17:00:06Z) - A Critical Analysis of Classifier Selection in Learned Bloom Filters [0.3359875577705538]
フィルタ構築に使用されるデータの"複雑さ"は、そのパフォーマンスに大きく影響する可能性がある。
本稿では,学習ブルームフィルタの設計,解析,実装のための新しい手法を提案する。
提案手法とサポートソフトウェアは有効かつ有用であることを示す実験結果が得られた。
論文 参考訳(メタデータ) (2022-11-28T17:17:18Z) - Broad Recommender System: An Efficient Nonlinear Collaborative Filtering
Approach [56.12815715932561]
我々はBroad Collaborative Filtering (BroadCF)と呼ばれる新しい広帯域リコメンデータシステムを提案する。
深層ニューラルネットワーク(DNN)の代わりに、ユーザとアイテム間の複雑な非線形関係を学習するためのマッピング機能として、Broad Learning System(BLS)が使用されている。
7つのベンチマークデータセットで実施された大規模な実験により、提案したBroadCFアルゴリズムの有効性が確認された。
論文 参考訳(メタデータ) (2022-04-20T01:25:08Z) - Sequence-Based Filtering for Visual Route-Based Navigation: Analysing
the Benefits, Trade-offs and Design Choices [17.48671856442762]
ビジュアルプレース認識(VPR)の新たなトレンドは、単一フレームベースのプレースマッチング技術の上にシーケンスベースのフィルタリング方法を使用することである。
本稿では,単一フレームに基づく位置マッチング手法の性能と,それらの手法上でのシーケンスベースフィルタリングの利用との関係について詳細に検討する。
論文 参考訳(メタデータ) (2021-03-02T19:24:58Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳(メタデータ) (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。