論文の概要: Towards Hyper-Efficient RAG Systems in VecDBs: Distributed Parallel Multi-Resolution Vector Search

• arxiv url: http://arxiv.org/abs/2511.16681v1
• Date: Wed, 12 Nov 2025 09:31:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-07 19:06:32.217944
• Title: Towards Hyper-Efficient RAG Systems in VecDBs: Distributed Parallel Multi-Resolution Vector Search
• Title（参考訳）: VecDBにおける高効率RAGシステムに向けて:分散並列多解ベクトル探索
• Authors: Dong Liu, Yanxuan Yu,
• Abstract要約: 我々は,VecDBにおけるRAGのための新しい多分解能ベクトルインデックスフレームワークである textbfSemantic Pyramid Indexing (SPI) を提案する。 オフラインチューニングやモデルトレーニングの分離を必要とする既存の階層的手法とは異なり、SPIはドキュメントの埋め込みの上にセマンティックピラミッドを構築し、クエリ毎に最適な解像度レベルを動的に選択する。 FAISSとQdrantバックエンドのプラグインとしてSPIを実装し、MS MARCO、Natural Questions、マルチモーダル検索ベンチマークを含む複数のRAGタスクでSPIを評価する。
• 参考スコア（独自算出の注目度）: 5.216774377033164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) systems have become a dominant approach to augment large language models (LLMs) with external knowledge. However, existing vector database (VecDB) retrieval pipelines rely on flat or single-resolution indexing structures, which cannot adapt to the varying semantic granularity required by diverse user queries. This limitation leads to suboptimal trade-offs between retrieval speed and contextual relevance. To address this, we propose \textbf{Semantic Pyramid Indexing (SPI)}, a novel multi-resolution vector indexing framework that introduces query-adaptive resolution control for RAG in VecDBs. Unlike existing hierarchical methods that require offline tuning or separate model training, SPI constructs a semantic pyramid over document embeddings and dynamically selects the optimal resolution level per query through a lightweight classifier. This adaptive approach enables progressive retrieval from coarse-to-fine representations, significantly accelerating search while maintaining semantic coverage. We implement SPI as a plugin for both FAISS and Qdrant backends and evaluate it across multiple RAG tasks including MS MARCO, Natural Questions, and multimodal retrieval benchmarks. SPI achieves up to \textbf{5.7$\times$} retrieval speedup and \textbf{1.8$\times$} memory efficiency gain while improving end-to-end QA F1 scores by up to \textbf{2.5 points} compared to strong baselines. Our theoretical analysis provides guarantees on retrieval quality and latency bounds, while extensive ablation studies validate the contribution of each component. The framework's compatibility with existing VecDB infrastructures makes it readily deployable in production RAG systems. Code is availabe at \href{https://github.com/FastLM/SPI_VecDB}{https://github.com/FastLM/SPI\_VecDB}.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは,大規模言語モデル(LLM)を外部知識で拡張する主要なアプローチとなっている。 しかし、既存のベクトルデータベース(VecDB)の検索パイプラインはフラットまたはシングルレゾリューションのインデックス構造に依存しており、多様なユーザクエリに必要なセマンティックな粒度に適応できない。 この制限は、検索速度とコンテキスト関連性の間に、最適以下のトレードオフをもたらす。 この問題に対処するために,VecDBにおけるRAGに対するクエリ適応型分解能制御を導入した,新しい多分解能ベクトルインデックスフレームワークである「textbf{Semantic Pyramid Indexing (SPI)」を提案する。 オフラインチューニングや個別のモデルトレーニングを必要とする既存の階層的手法とは異なり、SPIは文書の埋め込みの上にセマンティックピラミッドを構築し、軽量な分類器を通じてクエリ毎の最適解像度レベルを動的に選択する。 この適応的アプローチは、粗大な表現から進歩的な検索を可能にし、セマンティックカバレッジを維持しながら、探索を著しく加速させる。 FAISSとQdrantバックエンドのプラグインとしてSPIを実装し、MS MARCO、Natural Questions、マルチモーダル検索ベンチマークを含む複数のRAGタスクでSPIを評価する。 SPIは検索速度アップとメモリ効率アップを達成し、エンドツーエンドのQA F1スコアを強力なベースラインに比べて最大に改善する。 我々の理論的分析は,検索品質とレイテンシ境界の保証を提供する一方,広範囲にわたるアブレーション研究は各コンポーネントの寄与を検証している。 このフレームワークは既存のVecDBインフラストラクチャと互換性があり、本番のRAGシステムで容易にデプロイできる。 コードは \href{https://github.com/FastLM/SPI_VecDB}{https://github.com/FastLM/SPI\_VecDB} にある。

関連論文リスト

• Relatron: Automating Relational Machine Learning over Relational Databases [50.94254514286021]
  本稿では, RDL と DFS を共有設計空間に統合し, 多様な RDB タスクを対象としたアーキテクチャ中心の検索を行う。 RDLはDFSを一貫して上回り、高いタスク依存性を持つ。(2)タスク全体において単一のアーキテクチャが支配的であり、タスク認識モデル選択の必要性を強調し、精度は選択アーキテクチャの信頼性の低いガイドである。
  論文  参考訳（メタデータ） (2026-02-26T02:45:22Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• RAGRouter-Bench: A Dataset and Benchmark for Adaptive RAG Routing [37.7721677767453]
  適応型RAGルーティング用に設計された最初のデータセットとベンチマークであるRAG-Benchを紹介する。 RAG-Benchは、クエリコーパスの互換性の観点から検索を再考し、5つの代表的なRAGパラダイムを体系的評価のために標準化する。 DeepSeek-V3 と LLaMA-3.1-8B による実験は、単一のRAGパラダイムが普遍的に最適であることを示した。
  論文  参考訳（メタデータ） (2026-01-30T20:38:11Z)
• Succeeding at Scale: Automated Multi-Retriever Fusion and Query-Side Adaptation for Multi-Tenant Search [22.080200394842123]
  DevRev Searchは、完全に自動パイプラインで構築されたテクニカルカスタマーサポートのためのパス検索ベンチマークである。 低ランク適応によるクエリエンコーダのみを微調整することで、実用的な textbfIndex-Preserving Adaptation 戦略を提案する。 DevRev SearchとSciFactの実験では、クエリエンコーダ内の特定のトランスフォーマー層をターゲットにすることで、最適な品質効率のトレードオフが得られることを示した。
  論文  参考訳（メタデータ） (2026-01-08T06:44:40Z)
• SmartChunk Retrieval: Query-Aware Chunk Compression with Planning for Efficient Document RAG [41.16937860730275]
  We present SmartChunk, a query-adaptive framework for efficient and robust long-document question answering (QA)。 SmartChunkでは、クエリ毎に最適なチャンク抽象化レベルを予測するプランナーと、要約を繰り返しない高レベルのチャンク埋め込みを生成する軽量圧縮モジュールを使用している。 ユーザがさまざまなドキュメントタイプやクエリスタイルに直面する現実世界のアプリケーションを反映するために、私たちは、SmartChunkを5つのQAベンチマークと1つのドメイン外のデータセットで評価しました。
  論文  参考訳（メタデータ） (2025-12-17T01:21:44Z)
• The Hybrid Multimodal Graph Index (HMGI): A Comprehensive Framework for Integrated Relational and Vector Search [6.821769033209393]
  本稿では,ベクトルデータベースとグラフデータベースのギャップを埋める新しいフレームワークであるHybrid Multimodal Graph Index (HMGI)を紹介する。 HMGIは、意味的類似性検索と関係性コンテキストを直接統合することにより、複雑な関係性の多いクエリシナリオにおいて純粋なベクトルデータベースより優れていることを目指している。
  論文  参考訳（メタデータ） (2025-10-11T09:06:26Z)
• Hybrid Deep Searcher: Integrating Parallel and Sequential Search Reasoning [57.78245296980122]
  本稿では,自然質問から自動生成されるデータセットであるHDS-QA(Hybrid Deep Search QA)を紹介する。 並列化可能な独立サブクエリ(同時に実行可能)と逐次依存サブクエリ(ステップバイステップの解決を必要とする)を組み合わせたハイブリッドホップ質問を含む。 モデルの名称はHybridDeepSearcherで、複数のベンチマークで最先端のベースラインを上回っています。
  論文  参考訳（メタデータ） (2025-08-26T15:15:17Z)
• RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
  RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。 役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。 軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
  論文  参考訳（メタデータ） (2025-08-06T21:59:34Z)
• POQD: Performance-Oriented Query Decomposer for Multi-vector retrieval [8.05982973499578]
  Performance-Oriented Query Decomposer (POQD)は、Multi-Retrieval(MVR)のための新しいクエリ分解フレームワークである。 POQDは、Retrieval-Augmented Generation (RAG)システムのような任意の検索ベースのシステムにシームレスに統合できる。
  論文  参考訳（メタデータ） (2025-05-25T15:31:52Z)
• HAKES: Scalable Vector Database for Embedding Search Service [16.034584281180006]
  我々は,並列な読み書きワークロード下で高いスループットと高いリコールを実現するベクトルデータベースを構築した。 我々のインデックスは、高リコール領域と同時読み書きワークロード下でインデックスベースラインより優れています。 nameysはスケーラブルで、ベースラインよりも最大16タイムで高いスループットを実現します。
  論文  参考訳（メタデータ） (2025-05-18T19:26:29Z)
• VectorLiteRAG: Latency-Aware and Fine-Grained Resource Partitioning for Efficient RAG [2.0929459605817193]
  Retrieval-Augmented Generation (RAG) システムは、ベクトル類似性探索と大言語モデル(LLM)を組み合わせてコンテキスト対応の応答を提供する。 本稿では,VectorLiteRAGを提案する。VectorLiteRAGは,追加のハードウェアリソースを必要とせず,遅延に順応する推論を実現する。
  論文  参考訳（メタデータ） (2025-04-11T19:18:41Z)
• CoIR: A Comprehensive Benchmark for Code Information Retrieval Models [52.61625841028781]
  COIR(Code Information Retrieval Benchmark)は、コード検索機能を評価するために設計された、堅牢で包括的なベンチマークである。 COIRは、厳密にキュレートされた10のコードデータセットで構成され、7つの異なるドメインにまたがる8つの特有の検索タスクにまたがる。 我々は,COIRを用いた9つの広く使用されている検索モデルを評価し,最先端システムにおいても,コード検索タスクの実行に重大な困難があることを明らかにする。
  論文  参考訳（メタデータ） (2024-07-03T07:58:20Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Temporal-aware Hierarchical Mask Classification for Video Semantic Segmentation [62.275143240798236]
  ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。 VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。 提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-14T20:31:06Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。