論文の概要: ARCADE: A Real-Time Data System for Hybrid and Continuous Query Processing across Diverse Data Modalities
- arxiv url: http://arxiv.org/abs/2509.19757v1
- Date: Wed, 24 Sep 2025 04:26:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.688087
- Title: ARCADE: A Real-Time Data System for Hybrid and Continuous Query Processing across Diverse Data Modalities
- Title(参考訳): ARCADE: 多様なデータモダリティをまたいだハイブリッドおよび継続的クエリ処理のためのリアルタイムデータシステム
- Authors: Jingyi Yang, Songsong Mo, Jiachen Shi, Zihao Yu, Kunhao Shi, Xuchen Ding, Gao Cong,
- Abstract要約: ARCADEはリアルタイムデータシステムであり、多様なデータタイプにわたる表現豊かなハイブリッドおよび連続的なクエリ処理をサポートする。
RocksDBによるオープンソースのストレージシステム上に構築されたARCADEは、リードヘビーで最大7.4倍、ライトヘビーなワークロードで1.4倍の性能を持つ。
- 参考スコア(独自算出の注目度): 13.257158630199953
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The explosive growth of multimodal data - spanning text, image, video, spatial, and relational modalities, coupled with the need for real-time semantic search and retrieval over these data - has outpaced the capabilities of existing multimodal and real-time database systems, which either lack efficient ingestion and continuous query capability, or fall short in supporting expressive hybrid analytics. We introduce ARCADE, a real-time data system that efficiently supports high-throughput ingestion and expressive hybrid and continuous query processing across diverse data types. ARCADE introduces unified disk-based secondary index on LSM-based storage for vector, spatial, and text data modalities, a comprehensive cost-based query optimizer for hybrid queries, and an incremental materialized view framework for efficient continuous queries. Built on open-source RocksDB storage and MySQL query engine, ARCADE outperforms leading multimodal data systems by up to 7.4x on read-heavy and 1.4x on write-heavy workloads.
- Abstract(参考訳): テキスト、画像、ビデオ、空間、リレーショナルモダリティにまたがるマルチモーダルデータの爆発的な成長は、これらのデータに対するリアルタイムセマンティック検索と検索の必要性と相まって、既存のマルチモーダルおよびリアルタイムデータベースシステムの能力を上回っている。
ARCADEは,多種多様なデータ型にまたがって,高スループットの取り込みと表現型ハイブリッドおよび連続的なクエリ処理を効率的にサポートするリアルタイムデータシステムである。
ARCADEは、ベクトル、空間、テキストデータモダリティのためのLSMベースのストレージに統一されたディスクベースのセカンダリインデックス、ハイブリッドクエリのための包括的なコストベースのクエリオプティマイザ、効率的な連続クエリのためのインクリメンタル・マテリアライズド・ビュー・フレームワークを導入している。
オープンソースのRocksDBストレージとMySQLクエリエンジンをベースとして構築されたARCADEは、リードヘビーで最大7.4倍、ライトヘビーなワークロードで1.4倍の性能を発揮する。
関連論文リスト
- Recurrence Meets Transformers for Universal Multimodal Retrieval [59.92546492752452]
ReT-2は画像とテキストの両方からなるマルチモーダルクエリをサポートする統合検索モデルである。
検索構成の異なるM2KRとM-BEIRのベンチマークでReT-2を評価する。
検索強化された生成パイプラインに統合されると、ReT-2はEncyclopedic-VQAとInfoSeekデータセットのダウンストリームのパフォーマンスも向上する。
論文 参考訳(メタデータ) (2025-09-10T18:00:29Z) - MSRS: Evaluating Multi-Source Retrieval-Augmented Generation [51.717139132190574]
多くの現実世界のアプリケーションは、複数のソースにまたがる情報を統合して要約する能力を必要としている。
本稿では、RAGシステムに対して異なるソース間で情報を統合するための評価ベンチマークを構築するためのスケーラブルなフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-28T14:59:55Z) - LOVO: Efficient Complex Object Query in Large-Scale Video Datasets [11.821229903544404]
LOVOは、comp$underlineL$ex $underlineO$bjectクエリを大規模$underlineV$ide$underlineO$データセットで効率的に扱うように設計された新しいシステムである。
ユーザクエリに依存しないLOVOは、事前トレーニングされたビジュアルエンコーダを使用して、ワンタイムの機能抽出を実行し、キーフレームに対するコンパクトなビジュアル埋め込みを生成する。
クエリフェーズの間、LOVOはオブジェクトクエリをクエリの埋め込みに変換し、視覚的な埋め込みの近傍の高速な探索を行う。
論文 参考訳(メタデータ) (2025-07-18T18:21:43Z) - Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。
RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。
製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
論文 参考訳(メタデータ) (2025-06-29T08:34:59Z) - Dynamic Multi-Agent Orchestration and Retrieval for Multi-Source Question-Answer Systems using Large Language Models [0.0]
本稿では,大規模言語モデル(LLM)検索におけるいくつかの高度な手法を組み合わせて,堅牢で多ソースな問合せシステムの開発を支援する手法を提案する。
この手法は、協調型マルチエージェントオーケストレーションと動的検索アプローチにより、多様なデータソースからの情報を統合するように設計されている。
提案手法は応答精度と妥当性を向上し,質問応答システムを開発するための汎用的でスケーラブルなフレームワークを提供する。
論文 参考訳(メタデータ) (2024-12-23T20:28:20Z) - A Collaborative Multi-Agent Approach to Retrieval-Augmented Generation Across Diverse Data [0.0]
Retrieval-Augmented Generation (RAG)はLarge Language Models (LLM)を強化する
従来のRAGシステムでは、クエリ生成、データ検索、レスポンス合成に単一エージェントアーキテクチャを使用するのが一般的である。
本稿では,これらの制約に対処するマルチエージェントRAGシステムを提案する。
論文 参考訳(メタデータ) (2024-12-08T07:18:19Z) - CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。
従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。
粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
論文 参考訳(メタデータ) (2024-06-25T12:47:04Z) - iRAG: Advancing RAG for Videos with an Incremental Approach [3.486835161875852]
大規模なビデオコーパス内のすべてのコンテンツをテキスト記述に一回、前もって変換することは、高い処理時間を必要とする。
iRAGと呼ばれるインクリメンタルなRAGシステムを提案し、RAGを新たなインクリメンタルなワークフローで拡張し、ビデオデータのインタラクティブなクエリを可能にする。
iRAGは、大規模なビデオコーパスの効率的なインタラクティブクエリをサポートするインクリメンタルワークフローでRAGを拡張する最初のシステムである。
論文 参考訳(メタデータ) (2024-04-18T16:38:02Z) - Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。
本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。
本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文 参考訳(メタデータ) (2021-05-31T21:14:58Z) - Approximating Aggregated SQL Queries With LSTM Networks [31.528524004435933]
本稿では、近似クエリ処理(AQP)とも呼ばれるクエリ近似法を提案する。
我々は、LSTMネットワークを用いて、クエリと結果の関係を学習し、クエリ結果を予測するための高速な推論層を提供する。
提案手法では,1秒間に最大12万のクエリを予測でき,クエリのレイテンシは2ms以下であった。
論文 参考訳(メタデータ) (2020-10-25T16:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。