論文の概要: AiSAQ-in-Filtering for DRAM-free Filtered Information Retrieval

• arxiv url: http://arxiv.org/abs/2610.17627v1
• Date: Tue, 13 Oct 2026 02:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:06:04.549988
• Title: AiSAQ-in-Filtering for DRAM-free Filtered Information Retrieval
• Title（参考訳）: DRAMフリーフィルタ情報検索のためのAiSAQ-in-Filtering
• Abstract要約: 本稿では,新しい量子化手法LiPQを用いたAiSAQ-in-Filteringを提案する。 LiPQは、構造化されていないデータと構造化されたラベルを単一の表現に結合し、符号化されたデータの成長を伴わない。 提案手法により,シングルラベル検索のリコール@1が最大55%増加し,ディスクI/Oが従来手法より少なくなった。
• 参考スコア（独自算出の注目度）: 1.9527699802276768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Filtering search is one of the crucial applications of approximate nearest neighbor search (ANNS). In filtering search, label information is used in conjunction with unstructured vector data. ANNS provides efficient similarity search in large-scale datasets, however, the memory footprint of storing both vector data and their associated label becomes a significant cost factor as dataset sizes grow. To address this problem of increasing DRAM usage, we propose AiSAQ-in-Filtering, with a novel quantization method called LiPQ (Label-inclusive Product Quantization). LiPQ combines unstructured data and structured labels into a single representation, leading no growth of encoded data. Our proposal increased recall@1 of single-label searches by up to 55% and fewer disk I/Os compared with existing methods. This also retains the main advantages of AiSAQ, which can reduce DRAM footprint by up to 1/78 and index switching time comparing with existing methods. This proposal can also be applied to sparse-dense hybrid search beyond label filtering such as semantic and keyword search of documents.
• Abstract（参考訳）: フィルタ探索は、近接近接探索(ANNS)の重要な応用の1つである。 フィルタ検索では、ラベル情報と非構造化ベクトルデータが併用される。 ANNSは大規模なデータセットで効率的な類似性探索を提供するが、データセットのサイズが大きくなるにつれて、ベクトルデータとそのラベルを格納するメモリフットプリントが重要なコスト要因となる。 本稿では, DRAM使用量の増加に対処するため, LiPQ (Label-inclusive Product Quantization) と呼ばれる新しい量子化手法を用いて, AiSAQ-in-Filteringを提案する。 LiPQは、構造化されていないデータと構造化されたラベルを単一の表現に結合し、符号化されたデータの成長を伴わない。 提案手法により,シングルラベル検索のリコール@1が最大55%増加し,ディスクI/Oが従来手法より少なくなった。 AiSAQの主な利点は、DRAMのフットプリントを最大1/78まで削減し、既存のメソッドと比較してインデックスの切り替え時間を短縮できることだ。 この提案は、文書のセマンティック検索やキーワード検索のようなラベルフィルタリング以外のスパース・デンスハイブリッド検索にも適用できる。

関連論文リスト

• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• Filtered Approximate Nearest Neighbor Search in Vector Databases: System Design and Performance Analysis [0.5249805590164902]
  Filtered Approximate Nearest Neighbor Search (FANNS) は、セマンティック検索とメタデータの制約を組み合わせるために用いられる。 本研究では,フィルタリング戦略の分類を体系化し,それらのベクトルへの統合性を評価する。 実験の結果,エンジン内のアルゴリズム適応がしばしば生のインデックス性能を上回ることがわかった。
  論文  参考訳（メタデータ） (2026-02-11T23:40:26Z)
• Progressive Searching for Retrieval in RAG [1.1912082737504726]
  Retrieval Augmented Generation (RAG)は、大規模言語モデル(LLM)の2つの重要な制限を緩和するための有望な技術である。 本稿では,コスト効率の高い検索アルゴリズムを提案する。 以上の結果から,RAGシステムにおける逐次探索は次元,速度,精度のバランスを保ち,大規模データベースにおいてもスケーラブルで高速な検索が可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-07T01:12:53Z)
• Billion-scale Similarity Search Using a Hybrid Indexing Approach with Advanced Filtering [49.1574468325115]
  本稿では,CPU推論に最適化された数十億規模のデータセット上での複雑なフィルタリング機能を備えた類似度探索のための新しい手法を提案する。 提案手法は,従来のIVF-Flatインデックス構造を拡張し,多次元フィルタを統合する。 提案アルゴリズムは,高次元空間での高速な探索を可能にするため,高密度埋め込みと離散フィルタ特性を組み合わせる。
  論文  参考訳（メタデータ） (2025-01-23T07:47:00Z)
• AiSAQ: All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval [1.099532646524593]
  本稿では、圧縮ベクトルをSSDインデックスにオフロードするAiSAQ(All-in-Storage ANNS with Product Quantization)を提案する。 本手法は,10 MB のメモリ使用率を数十億のデータセットによるクエリ検索で実現し,遅延の致命的な劣化を伴わない。
  論文  参考訳（メタデータ） (2024-04-09T04:20:27Z)
• Efficient Data Access Paths for Mixed Vector-Relational Search [8.80592433569832]
  機械学習とベクトル埋め込みを用いたデータ処理手法の採用は、ベクトルデータ管理のためのシステム構築に大きな関心を喚起した。 ベクトルデータ管理の主流のアプローチは、ベクトル埋め込み全体を高速に検索するために特別なインデックス構造を使用することであるが、一度他の(メタ)データと組み合わせると、検索クエリはリレーショナル属性に対して選択的になる。 ベクトルインデックスは従来の関係データアクセスと異なるため、効率的な混合ベクトル関係探索のための代替アクセスパスを再検討し分析する。
  論文  参考訳（メタデータ） (2024-03-23T11:34:17Z)
• End-to-End Learning to Index and Search in Large Output Spaces [95.16066833532396]
  Extreme Multi-label Classification (XMC) は現実世界の問題を解決するための一般的なフレームワークである。 本稿では,木系インデックスを特殊重み付きグラフベースインデックスに緩和する新しい手法を提案する。 ELIASは、数百万のラベルを持つ大規模極端分類ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-10-16T01:34:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。