論文の概要: LiveVectorLake: A Real-Time Versioned Knowledge Base Architecture for Streaming Vector Updates and Temporal Retrieval

• arxiv url: http://arxiv.org/abs/2601.05270v1
• Date: Mon, 24 Nov 2025 11:15:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.543117
• Title: LiveVectorLake: A Real-Time Versioned Knowledge Base Architecture for Streaming Vector Updates and Temporal Retrieval
• Title（参考訳）: LiveVectorLake: リアルタイムのベクター更新と時間検索のための知識ベースアーキテクチャ
• Authors: Tarun Prajapati,
• Abstract要約: LivevusLakeは2階層の時間的知識ベースアーキテクチャで、現在の知識をリアルタイムにセマンティック検索できる。 システムは、コンプライアンス、監査可能性、ポイント・イン・タイム検索のための完全なバージョン履歴を維持している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Retrieval-Augmented Generation (RAG) systems struggle with a fundamental architectural tension: vector indices are optimized for query latency but poorly handle continuous knowledge updates, while data lakes excel at versioning but introduce query latency penalties. We introduce LiveVectorLake, a dual-tier temporal knowledge base architecture that enables real-time semantic search on current knowledge while maintaining complete version history for compliance, auditability, and point-in-time retrieval. The system introduces three core architectural contributions: (1) Content-addressable chunk-level synchronization using SHA-256 hashing for deterministic change detection without external state tracking; (2) Dual-tier storage separating hot-tier vector indices (Milvus with HNSW) from cold-tier columnar versioning (Delta Lake with Parquet), optimizing query latency and storage cost independently; (3) Temporal query routing enabling point-in-time knowledge retrieval via delta-versioning with ACID consistency across tiers. Evaluation on a 100-document corpus versioned across five time points demonstrates: (i) 10-15% re-processing of content during updates compared to 100% for full re-indexing; (ii) sub-100ms retrieval latency on current knowledge; (iii) sub-2s latency for temporal queries across version history; and (iv) storage cost optimization through hot/cold tier separation (only current chunks in expensive vector indices). The approach enables production RAG deployments requiring simultaneous optimization for query performance, update efficiency, and regulatory compliance. Code and resources: [https://github.com/praj-tarun/LiveVectorLake]
• Abstract（参考訳）: ベクトルインデックスはクエリレイテンシに最適化されているが、継続的な知識更新は処理が不十分であるのに対して、データレイクはバージョニングで優れているが、クエリレイテンシのペナルティを導入する。 両階層の時間的知識ベースアーキテクチャであるLiveVectorLakeを導入し、コンプライアンス、監査可能性、ポイントインタイム検索のための完全なバージョン履歴を維持しながら、現在の知識をリアルタイムに意味検索する。 本システムは,(1)外部状態追跡を伴わない決定論的変化検出のためのSHA-256ハッシュを用いたコンテンツ適応型チャンクレベルの同期,(2)ホット層ベクトルインデックス(Milvus with HNSW)とコールド層列のバージョニング(Delta Lake with Parquet)を分離した2層ストレージ,(3)デルタ変換によるポイントインタイム知識検索を可能にする時間クエリルーティング,の3つのアーキテクチャ的コントリビューションを紹介する。 5つの時点にまたがる100文書コーパスの評価が示す。 (i)更新中にコンテンツの再処理を10～15%、完全再インデックスで100%とする。 (ii)現在の知識による100ms未満の検索遅延 (iii)バージョン履歴における時間的クエリのsub-2sレイテンシ (4)ホット/コールド層分離によるストレージコストの最適化(高価なベクトルインデックスの現在のチャンクのみ)。 このアプローチにより、クエリパフォーマンス、更新効率、規制コンプライアンスの同時最適化を必要とする運用RAGデプロイメントが可能になる。 コードとリソース: [https://github.com/praj-tarun/LiveVectorLake]

関連論文リスト

• SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
  セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。 本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。 ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-05T21:02:49Z)
• Towards Hyper-Efficient RAG Systems in VecDBs: Distributed Parallel Multi-Resolution Vector Search [5.216774377033164]
  我々は,VecDBにおけるRAGのための新しい多分解能ベクトルインデックスフレームワークである textbfSemantic Pyramid Indexing (SPI) を提案する。 オフラインチューニングやモデルトレーニングの分離を必要とする既存の階層的手法とは異なり、SPIはドキュメントの埋め込みの上にセマンティックピラミッドを構築し、クエリ毎に最適な解像度レベルを動的に選択する。 FAISSとQdrantバックエンドのプラグインとしてSPIを実装し、MS MARCO、Natural Questions、マルチモーダル検索ベンチマークを含む複数のRAGタスクでSPIを評価する。
  論文  参考訳（メタデータ） (2025-11-12T09:31:08Z)
• FlashResearch: Real-time Agent Orchestration for Efficient Deep Research [62.03819662340356]
  FlashResearchは効率的なディープリサーチのための新しいフレームワークです。 シーケンシャル処理を並列なランタイムオーケストレーションに変換する。 同等のクオリティを維持しつつ、最大5倍のスピードアップを提供できる。
  論文  参考訳（メタデータ） (2025-10-02T00:15:39Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• Leveraging Approximate Caching for Faster Retrieval-Augmented Generation [6.674782158041247]
  本稿では,ユーザクエリの類似性を活用してRAGワークフローを最適化する,近似キー値キャッシュであるProximityを紹介する。 Proximityは、それぞれのクエリを独立して扱う代わりに、類似したクエリが現れると、以前検索されたドキュメントを再利用する。 我々の実験では、LSH方式と現実的にスキューされたMedRAGのワークロードとの近さは、データベースのリコールとテストの精度を維持しながら、データベース呼び出しを77.2%削減することを示した。
  論文  参考訳（メタデータ） (2025-03-07T15:54:04Z)
• RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval [24.472784635757016]
  RetrievalAttentionは、注意計算を高速化し、GPUメモリ消費を減らすためのトレーニング不要のアプローチである。 RetrievalAttentionは1-3%のデータのみを必要としながら、ほぼ全注意精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-09-16T17:59:52Z)
• Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
  LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
  論文  参考訳（メタデータ） (2024-08-11T02:31:13Z)
• Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
  SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。 SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。