論文の概要: Efficient Filtered-ANN via Learning-based Query Planning
- arxiv url: http://arxiv.org/abs/2602.17914v1
- Date: Fri, 20 Feb 2026 00:22:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 18:01:41.190566
- Title: Efficient Filtered-ANN via Learning-based Query Planning
- Title(参考訳): 学習型クエリプランニングによる効率的なフィルタANN
- Authors: Zhuocheng Gan, Yifan Wang,
- Abstract要約: 本稿では,各クエリに対して最も効果的な実行プランを動的に選択する,学習ベースのクエリ計画フレームワークを提案する。
実験の結果, 強いベースラインと比較して, 最大4倍の高速化を実現し, 90%のリコールを達成できた。
- 参考スコア(独自算出の注目度): 5.0924801385693454
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Filtered ANN search is an increasingly important problem in vector retrieval, yet systems face a difficult trade-off due to the execution order: Pre-filtering (filtering first, then ANN over the passing subset) requires expensive per-predicate index construction, while post-filtering (ANN first, then filtering candidates) may waste computation and lose recall under low selectivity due to insufficient candidates after filtering. We introduce a learning-based query planning framework that dynamically selects the most effective execution plan for each query, using lightweight predictions derived from dataset and query statistics (e.g., dimensionality, corpus size, distribution features, and predicate statistics). The framework supports diverse filter types, including categorical/keyword and range predicates, and is generic to use any backend ANN index. Experiments show that our method achieves up to 4x acceleration with >= 90% recall comparing to the strong baselines.
- Abstract(参考訳): フィルタされたANN検索は、ベクトル検索においてますます重要な問題であるが、システムは実行順序のために難しいトレードオフに直面している: 事前フィルタリング(最初にフィルタリングし、次に通過するサブセット上でANN)は、高価な述語ごとのインデックス構築を必要とし、一方、ポストフィルタ(最初にANN、次にフィルタ候補)は、フィルタリング後の計算を無駄にし、低選択性でリコールを失う可能性がある。
本稿では、データセットとクエリ統計(例えば、次元性、コーパスサイズ、分布特徴、述語統計)から導かれる軽量な予測を用いて、各クエリに対して最も効果的な実行計画を動的に選択する学習ベースのクエリ計画フレームワークを提案する。
このフレームワークは分類/キーワードや範囲述語などさまざまなフィルタタイプをサポートしており、バックエンドのANNインデックスを使用するには汎用的である。
実験の結果, 強いベースラインと比較して, 最大4倍の高速化を実現し, 90%のリコールを達成できた。
関連論文リスト
- Filtered Approximate Nearest Neighbor Search in Vector Databases: System Design and Performance Analysis [0.5249805590164902]
Filtered Approximate Nearest Neighbor Search (FANNS) は、セマンティック検索とメタデータの制約を組み合わせるために用いられる。
本研究では,フィルタリング戦略の分類を体系化し,それらのベクトルへの統合性を評価する。
実験の結果,エンジン内のアルゴリズム適応がしばしば生のインデックス性能を上回ることがわかった。
論文 参考訳(メタデータ) (2026-02-11T23:40:26Z) - Learning Filter-Aware Distance Metrics for Nearest Neighbor Search with Multiple Filters [7.493563348124023]
Filtered Approximate Nearest Neighbor (ANN) 検索は、データセットからクエリベクトルに最も近いベクトルを検索する。
既存のグラフベースの手法では、固定されたペナルティを割り当てることによってフィルタの認識を組み込むのが一般的である。
本稿では,ベクトル距離とフィルタマッチングの最適トレードオフをデータから直接学習する原理的手法を提案する。
論文 参考訳(メタデータ) (2025-11-06T05:24:41Z) - Prior-based Noisy Text Data Filtering: Fast and Strong Alternative For Perplexity [16.521507516831097]
コーパスレベルの項周波数統計量を用いてトークンの先行値を推定する事前データフィルタリング手法を提案する。
PPLの高速プロキシとして,トークン前の平均偏差と標準偏差に基づいて文書をフィルタする手法を提案する。
その単純さにもかかわらず、事前ベースフィルタは、20のダウンストリームベンチマークで最高の平均性能を達成している。
論文 参考訳(メタデータ) (2025-09-23T02:57:29Z) - Attribute Filtering in Approximate Nearest Neighbor Search: An In-depth Experimental Study [18.5007917065799]
本稿では,最新のアルゴリズムを包含した統合フィルタリングANN検索インタフェースを提案する。
まず,属性型とフィルタリング戦略に基づく既存のフィルタANNアルゴリズムの包括的分類法を提案する。
次に、4つのデータセットにまたがる10のアルゴリズムと12のメソッドについて、幅広い実験的評価を行う。
論文 参考訳(メタデータ) (2025-08-22T09:54:57Z) - MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。
我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。
次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。
同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
論文 参考訳(メタデータ) (2023-10-08T04:44:36Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳(メタデータ) (2023-07-21T17:00:06Z) - Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。
本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。
ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
論文 参考訳(メタデータ) (2021-09-20T06:07:14Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳(メタデータ) (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。