論文の概要: Beyond Similarity Search: A Unified Data Layer for Production RAG Systems
- arxiv url: http://arxiv.org/abs/2605.03275v1
- Date: Tue, 05 May 2026 02:04:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.713942
- Title: Beyond Similarity Search: A Unified Data Layer for Production RAG Systems
- Title(参考訳): 類似性検索を超えて: プロダクションRAGシステムのための統一データ層
- Authors: Venkata Krishna Prasanth Budigi, Siri Chandana Sirigiri,
- Abstract要約: 本稿では,データ不安定性,テナントデータ漏洩,クエリ合成爆発の3つの根本原因を明らかにする。
50,000のドキュメントの制御されたベンチマークでは、日時テナントクエリの92%、テナントスコープクエリの74%、一貫性のゼロ、同期コードの93%少ないクロスフィルタデータリークの完全な除去が示されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) systems have become the standard architecture for grounding large language models in organizational knowledge. Yet production deployments consistently expose a gap between clean prototype performance and real-world reliability. This paper identifies three root causes of that gap: data staleness, tenant data leakage, and query composition explosion. All three trace back to the conventional split-system data layer. We propose and evaluate a unified data layer built on PostgreSQL with native vector search (pgvector) and HNSW indexing. Controlled benchmarks on 50,000 documents show 92% latency reduction for date-filtered queries, 74% for tenant-scoped queries, zero synchronization inconsistency, and complete elimination of cross-tenant data leakage with 93% less synchronization code. We additionally discuss a recommended hybrid tier architecture
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) システムは、組織的知識において大きな言語モデルを構築するための標準アーキテクチャとなっている。
しかし、プロダクションデプロイメントは、クリーンなプロトタイプパフォーマンスと現実の信頼性のギャップを常に示している。
本稿では,データ不安定性,テナントデータ漏洩,クエリ合成爆発の3つの根本原因を明らかにする。
3つとも従来のスプリット・システム・データ・レイヤに遡る。
本稿では,PostgreSQL上に構築されたネイティブベクトル探索(pgvector)とHNSWインデックスを用いた統一データ層の提案と評価を行う。
50,000のドキュメント上の制御されたベンチマークでは、日付フィルタリングクエリの92%のレイテンシ削減、テナントスコープクエリの74%、同期不整合のゼロ、93%の同期コードによるテナントデータのリークの完全排除が示されている。
さらに、推奨ハイブリッド層アーキテクチャについても論じる。
関連論文リスト
- HaS: Accelerating RAG through Homology-Aware Speculative Retrieval [9.230969223605602]
知識データベースのサイズが大きくなるにつれて、検索は時間がかかります。
ホモロジーを意識した投機的検索フレームワークHaSを提案する。
HaSは、現実世界の人気パターン下でのクエリの頻度から恩恵を受け、かなりの効率向上を達成する。
論文 参考訳(メタデータ) (2026-04-22T11:15:54Z) - A Reference Architecture for Agentic Hybrid Retrieval in Dataset Search [0.6299766708197881]
アドホックデータセット検索では、未特定の自然言語クエリとスパースで異質なメタデータレコードとをマッチングする必要がある。
本稿では,BM25語彙探索と密埋め込み検索を組み合わせたエージェントハイブリッド検索のための有界・監査可能な参照アーキテクチャを提案する。
ユーザ意図とプロバイダが承認したメタデータとの語彙ミスマッチを低減するために、オフラインメタデータ拡張ステップが導入される。
論文 参考訳(メタデータ) (2026-03-28T22:56:57Z) - Agentic DAG-Orchestrated Planner Framework for Multi-Modal, Multi-Hop Question Answering in Hybrid Data Lakes [5.276278723196607]
Agentic DAG-Orchestrated Transformer (A.DOT) Plannerはマルチモーダル・マルチホップ質問応答のためのフレームワークである。
A.DOTは、ユーザNLクエリを構造化および非構造化の両方にまたがる有向非巡回グラフ(DAG)実行計画にコンパイルする。
System Decomposes query into parallelizable sub-queries, includess schema-aware reasoning, and applied both structure and semantic validation。
論文 参考訳(メタデータ) (2026-03-15T05:34:16Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳(メタデータ) (2026-03-09T18:20:20Z) - LiveVectorLake: A Real-Time Versioned Knowledge Base Architecture for Streaming Vector Updates and Temporal Retrieval [0.0]
LivevusLakeは2階層の時間的知識ベースアーキテクチャで、現在の知識をリアルタイムにセマンティック検索できる。
システムは、コンプライアンス、監査可能性、ポイント・イン・タイム検索のための完全なバージョン履歴を維持している。
論文 参考訳(メタデータ) (2025-11-24T11:15:39Z) - Cache Mechanism for Agent RAG Systems [32.587302983158274]
ARC(Agent RAG Cache Mechanism)は、各エージェントの小さな高価値コーパスを動的に管理する、新しい、アノテーションのないキャッシュフレームワークである。
その結果, ARC はRAG を用いた LLM エージェントの効率と有効性を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2025-11-04T19:02:29Z) - Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。
RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。
製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
論文 参考訳(メタデータ) (2025-06-29T08:34:59Z) - ImpRAG: Retrieval-Augmented Generation with Implicit Queries [34.72864597562907]
ImpRAGは、検索と生成を統一モデルに統合するクエリフリーなRAGシステムである。
我々は、ImpRAGが、多様な形式を持つ未確認タスクの正確なマッチスコアを3.6-11.5改善したことを示す。
論文 参考訳(メタデータ) (2025-06-02T21:38:21Z) - Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning [62.640169289390535]
SPLIT-RAGは、質問駆動セマンティックグラフ分割と協調サブグラフ検索による制限に対処するマルチエージェントRAGフレームワークである。
革新的なフレームワークは、まずリンク情報のセマンティック分割を作成し、次にタイプ特化知識ベースを使用してマルチエージェントRAGを実現する。
属性対応グラフセグメンテーションは、知識グラフを意味的に一貫性のあるサブグラフに分割し、サブグラフが異なるクエリタイプと整合することを保証する。
階層的なマージモジュールは、論理的検証を通じて、部分グラフ由来の解答間の矛盾を解消する。
論文 参考訳(メタデータ) (2025-05-20T06:44:34Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。