Fugu-MT 論文翻訳(概要): Hydro: Adaptive Query Processing of ML Queries

論文の概要: Hydro: Adaptive Query Processing of ML Queries

arxiv url: http://arxiv.org/abs/2403.14902v1
Date: Fri, 22 Mar 2024 01:17:07 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 18:47:18.288298
Title: Hydro: Adaptive Query Processing of ML Queries
Title（参考訳）: Hydro: MLクエリの適応クエリ処理
Authors: Gaurav Tarlok Kakkar, Jiashen Cao, Aubhro Sengupta, Joy Arulraj, Hyesoon Kim,
Abstract要約: 機械学習(ML)クエリを効率的に処理するための適応クエリ処理(AQP)であるHydroを提案する。ベースラインシステム上で最大11.52倍のスピードアップを実現し,Hydroの有効性を実証する。
参考スコア（独自算出の注目度）: 7.317548344184541
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Query optimization in relational database management systems (DBMSs) is critical for fast query processing. The query optimizer relies on precise selectivity and cost estimates to effectively optimize queries prior to execution. While this strategy is effective for relational DBMSs, it is not sufficient for DBMSs tailored for processing machine learning (ML) queries. In ML-centric DBMSs, query optimization is challenging for two reasons. First, the performance bottleneck of the queries shifts to user-defined functions (UDFs) that often wrap around deep learning models, making it difficult to accurately estimate UDF statistics without profiling the query. This leads to inaccurate statistics and sub-optimal query plans. Second, the optimal query plan for ML queries is data-dependent, necessitating DBMSs to adapt the query plan on the fly during execution. So, a static query plan is not sufficient for such queries. In this paper, we present Hydro, an ML-centric DBMS that utilizes adaptive query processing (AQP) for efficiently processing ML queries. Hydro is designed to quickly evaluate UDF-based query predicates by ensuring optimal predicate evaluation order and improving the scalability of UDF execution. By integrating AQP, Hydro continuously monitors UDF statistics, routes data to predicates in an optimal order, and dynamically allocates resources for evaluating predicates. We demonstrate Hydro's efficacy through four illustrative use cases, delivering up to 11.52x speedup over a baseline system.
Abstract（参考訳）: リレーショナルデータベース管理システム(DBMS)におけるクエリ最適化は、高速なクエリ処理に不可欠である。クエリオプティマイザは、実行前にクエリを効果的に最適化するために、正確な選択性とコスト見積に依存する。この戦略はリレーショナルDBMSには有効であるが,機械学習(ML)クエリ処理に適したDBMSには十分ではない。 ML中心のDBMSでは、クエリ最適化は2つの理由から難しい。まず、クエリのパフォーマンスボトルネックは、ディープラーニングモデルをラップするユーザ定義関数(UDF)に移行し、クエリをプロファイリングせずにUDF統計を正確に見積もるのは困難である。これは不正確な統計とサブ最適クエリ計画につながる。次に、MLクエリの最適なクエリプランはデータ依存であり、実行中にクエリ計画に適応するためにDBMSを必要とする。したがって、このようなクエリには静的なクエリプランでは不十分である。本稿では、適応クエリ処理(AQP)を用いて、MLクエリを効率的に処理するML中心DBMSであるHydroについて述べる。 Hydroは、最適な述語評価順序を確保し、UDF実行のスケーラビリティを向上させることで、UDFベースのクエリ述語を迅速に評価するように設計されている。 AQPを統合することで、HydroはUDF統計を継続的に監視し、データを最適な順序で述語にルーティングし、述語を評価するリソースを動的に割り当てる。ベースラインシステム上で最大11.52倍のスピードアップを実現し,Hydroの有効性を実証する。

関連論文リスト

The Unreasonable Effectiveness of LLMs for Query Optimization [4.50924404547119]
クエリテキストの埋め込みには,クエリ最適化に有用な意味情報が含まれていることを示す。少数の組込みクエリベクタで訓練された代替クエリプラン間の単純なバイナリが既存のシステムより優れていることを示す。
論文参考訳（メタデータ） (2024-11-05T07:10:00Z)
Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
論文参考訳（メタデータ） (2024-10-27T03:18:52Z)
QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文参考訳（メタデータ） (2024-08-20T03:06:48Z)
DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
論文参考訳（メタデータ） (2024-08-16T14:43:15Z)
Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文参考訳（メタデータ） (2024-03-09T07:01:44Z)
Roq: Robust Query Optimization Based on a Risk-aware Learned Cost Model [3.0784574277021406]
本稿では,リスク認識型学習アプローチに基づくロバストなクエリ最適化を実現するための包括的フレームワークを提案する。 Roqには、クエリ最適化の文脈におけるロバストネスの概念の新たな形式化が含まれている。我々は、Roqが最先端技術と比較して堅牢なクエリ最適化に大幅な改善をもたらすことを実験的に実証した。
論文参考訳（メタデータ） (2024-01-26T21:16:37Z)
JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文参考訳（メタデータ） (2023-07-21T17:00:06Z)
Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
論文参考訳（メタデータ） (2023-06-11T22:39:28Z)
CERT: Finding Performance Issues in Database Systems Through the Lens of Cardinality Estimation [6.789710498230718]
本稿では,CERT(Cardinality Restriction Testing)を提案する。 CERTテストでは、クエリ最適化の最も重要な部分であることが示されている。
論文参考訳（メタデータ） (2023-06-01T05:21:31Z)
SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文参考訳（メタデータ） (2023-05-26T21:39:05Z)
Approximating Aggregated SQL Queries With LSTM Networks [31.528524004435933]
本稿では、近似クエリ処理(AQP)とも呼ばれるクエリ近似法を提案する。我々は、LSTMネットワークを用いて、クエリと結果の関係を学習し、クエリ結果を予測するための高速な推論層を提供する。提案手法では,1秒間に最大12万のクエリを予測でき,クエリのレイテンシは2ms以下であった。
論文参考訳（メタデータ） (2020-10-25T16:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。