論文の概要: Navigating Runtime Dynamism in Semantic Query Serving
- arxiv url: http://arxiv.org/abs/2611.04248v1
- Date: Tue, 03 Nov 2026 03:31:03 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:52:38.987825
- Title: Navigating Runtime Dynamism in Semantic Query Serving
- Title(参考訳): セマンティッククエリサービングにおける実行時ダイナミズムのナビゲート
- Abstract要約: SeqoFlowは、クエリ計画と同時セマンティッククエリのスケジュールを共同で調整するランタイムフレームワークである。
本稿では,SeqoFlowが既存のセマンティッククエリシステムと比較して,エンドツーエンドのレイテンシを大幅に低減することを示す。
- 参考スコア(独自算出の注目度): 20.42848167436033
- License:
- Abstract: LLM-powered semantic queries increasingly combine relational processing with multiple LLM-based operators over unstructured data. Efficiently serving such queries is challenging due to runtime dynamism at two coupled levels. Across queries, dynamic arrivals and heterogeneous resource demands continuously change scheduling priorities. Within a query, heterogeneous characteristics across fine-grained input batches cause operator costs and selectivities to vary throughout execution, making a statically optimized plan unreliable. These two forms of dynamism create a circular dependency: inter-query scheduling requires estimates of remaining LLM work, while the remaining work depends on runtime plan choices whose costs become observable only during execution. We present SeqoFlow, a runtime framework that jointly adapts query plans and schedules concurrent semantic queries. SeqoFlow enumerates equivalence-preserving plan alternatives under operator dependencies and decomposes queries into fine-grained units, enabling safe plan adaptation and query preemption at batch boundaries. To support both decisions without exhaustively profiling candidate plans on the target LLM, SeqoFlow uses lightweight speculative estimation to capture runtime costs. These estimates jointly guide plan adaptation and inter-query scheduling, closing the loop between query optimization and LLM inference. Experiments across diverse query structures, data distributions, and arrival rates show that SeqoFlow substantially reduces end-to-end latency compared to existing semantic query systems, adaptive query processing techniques, and conventional scheduling policies.
- Abstract(参考訳): LLMベースのセマンティッククエリは、リレーショナル処理と非構造化データ上の複数のLLMベースの演算子をますます組み合わせている。
このようなクエリを効率的に提供することは、実行時のダイナミズムが2つの結合レベルにあるため、難しい。
クエリ全体、動的到着、異種リソース要求は、スケジュールの優先順位を継続的に変更する。
クエリ内では、きめ細かい入力バッチ間の不均一な特性により、実行中に演算子コストと選択性が変化し、静的に最適化されたプランの信頼性が低下する。
これらの2つのダイナミズムは、循環的な依存性を生み出す: クエリ間スケジューリングは、残りのLCM作業の見積もりを必要とするが、残りの作業は実行時にのみコストが観測可能なランタイムプランの選択に依存する。
SeqoFlowは、クエリ計画と同時セマンティッククエリのスケジュールを共同で調整するランタイムフレームワークである。
SeqoFlowは、オペレータ依存下での等価保存プランの代替を列挙し、クエリをきめ細かな単位に分解することで、安全なプラン適応とバッチ境界でのクエリプリエンプションを可能にする。
ターゲットLLMの候補計画を徹底的にプロファイリングすることなく、両方の決定をサポートするために、SeqoFlowは軽量な投機的推定を使用してランタイムコストをキャプチャする。
これらの推定は、クエリ最適化とLLM推論のループを閉じ、計画適応とクエリ間スケジューリングを共同でガイドする。
多様なクエリ構造、データ分散、到着率による実験により、SeqoFlowは既存のセマンティッククエリシステムや適応クエリ処理技術、従来のスケジューリングポリシと比較して、エンドツーエンドのレイテンシを大幅に削減している。
関連論文リスト
- Kalypso: Relational LLM Serving [6.264258565843104]
既存のセマンティッククエリ処理システムは、クエリ計画に気付かない要求中心のLLMサービスシステムを呼び出す。
セマンティッククエリ計画のためのAPIを公開するリレーショナルLLMサービスシステムであるKalypsoを,適応型メモリ対応スケジューリングアルゴリズムを用いて提案する。
我々の評価によると、Kalypsoは要求中心のLLMサービスを使用してベースラインよりもクエリ完了時間を改善し、さまざまなワークロードで最大4.57倍のスピードアップを実現している。
論文 参考訳(メタデータ) (2026-07-26T19:29:31Z) - When RAG Meets Query Planning: Logical Query Trees for Resolving Exploratory Reasoning Problems [56.24850338895714]
RAGは、高い不確実性と曖昧性を含む複雑なクエリであるtextbf Exploratory reasoning problem (ERP) に苦慮している。
本稿では,自然言語のERPをテキスト論理クエリツリー(LQT)としてモデル化するRAGフレームワークであるemphPlanRAGを紹介する。
PlanRAGは、我々の新たに構築したデータセットである textbfWikiWeb-ERP 上で、最先端のイテレーションベースおよびグラフベースのRAGシステムより優れています。
論文 参考訳(メタデータ) (2026-07-01T06:43:55Z) - Opti-Q: A Constraint-Based Optimization Framework for Multi-LLM Question Planning [0.8620335948752809]
OPTI-QはマルチLLMオーケストレーションのための計画前実行パラダイムを実装している。
OPTI-Qは、財務コスト、レイテンシ、エネルギーをトレードオフしながら、回答品質(QoA)を最適化するプランを検索する。
ユーザが指定した予算下でのMMLU-ProとSimpleQAでは、OPTI-Qは平均QoAを58%改善し、同等のコストでベースラインを41%上回る。
論文 参考訳(メタデータ) (2026-06-17T02:43:58Z) - Training-Free Query Optimization via LLM-Based Plan Similarity [45.9982965995401]
LLM-PM (LLM-based Plan Mapping) は,クエリのデフォルト実行プランを埋め込んだフレームワークである。
JOB-CEBベンチマークで評価したところ、LLM-PMは平均21%のレイテンシ低減を実現している。
論文 参考訳(メタデータ) (2025-06-06T08:16:07Z) - BQSched: A Non-intrusive Scheduler for Batch Concurrent Queries via Reinforcement Learning [7.738546538164454]
データパイプライン全体の規模を最小化する上で重要な問題は、並列クエリの効率的なスケジューリングである。
我々の知る限り、BQSchedは強化学習による最初の非侵襲的なバッチクエリスケジューラである。
大規模な実験により、BQSchedはバッチクエリスケジューリングの効率と安定性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2025-04-27T07:49:01Z) - Improving DBMS Scheduling Decisions with Fine-grained Performance Prediction on Concurrent Queries -- Extended [15.354441937462271]
IconqSchedは、クエリの実行順序とタイミングを最適化する、新しい、原則化された非侵入スケジューラである。
IconqSchedは、システムランタイムをブラックボックスとして扱う、新しいきめ細かい予測器であるIconqを備えている。
我々はIconqSchedを実際のワークロードトレースを使用したエンドツーエンドランタイムの観点から他のスケジューラと比較する。
論文 参考訳(メタデータ) (2025-01-27T17:55:39Z) - Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。
近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。
完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
論文 参考訳(メタデータ) (2024-11-21T04:23:17Z) - Tree-Planner: Efficient Close-loop Task Planning with Large Language Models [63.06270302774049]
Tree-Plannerは、大きな言語モデルでタスクプランニングを3つの異なるフェーズに再構成する。
Tree-Plannerは高い効率を維持しながら最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-10-12T17:59:50Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳(メタデータ) (2023-07-21T17:00:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。