論文の概要: Hydro: Adaptive Query Processing of ML Queries
- arxiv url: http://arxiv.org/abs/2403.14902v1
- Date: Fri, 22 Mar 2024 01:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 18:47:18.288298
- Title: Hydro: Adaptive Query Processing of ML Queries
- Title（参考訳）: Hydro: MLクエリの適応クエリ処理
- Authors: Gaurav Tarlok Kakkar, Jiashen Cao, Aubhro Sengupta, Joy Arulraj, Hyesoon Kim,
- Abstract要約: 機械学習(ML)クエリを効率的に処理するための適応クエリ処理(AQP)であるHydroを提案する。
ベースラインシステム上で最大11.52倍のスピードアップを実現し,Hydroの有効性を実証する。
- 参考スコア（独自算出の注目度）: 7.317548344184541
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Query optimization in relational database management systems (DBMSs) is critical for fast query processing. The query optimizer relies on precise selectivity and cost estimates to effectively optimize queries prior to execution. While this strategy is effective for relational DBMSs, it is not sufficient for DBMSs tailored for processing machine learning (ML) queries. In ML-centric DBMSs, query optimization is challenging for two reasons. First, the performance bottleneck of the queries shifts to user-defined functions (UDFs) that often wrap around deep learning models, making it difficult to accurately estimate UDF statistics without profiling the query. This leads to inaccurate statistics and sub-optimal query plans. Second, the optimal query plan for ML queries is data-dependent, necessitating DBMSs to adapt the query plan on the fly during execution. So, a static query plan is not sufficient for such queries. In this paper, we present Hydro, an ML-centric DBMS that utilizes adaptive query processing (AQP) for efficiently processing ML queries. Hydro is designed to quickly evaluate UDF-based query predicates by ensuring optimal predicate evaluation order and improving the scalability of UDF execution. By integrating AQP, Hydro continuously monitors UDF statistics, routes data to predicates in an optimal order, and dynamically allocates resources for evaluating predicates. We demonstrate Hydro's efficacy through four illustrative use cases, delivering up to 11.52x speedup over a baseline system.
- Abstract（参考訳）: リレーショナルデータベース管理システム(DBMS)におけるクエリ最適化は、高速なクエリ処理に不可欠である。
クエリオプティマイザは、実行前にクエリを効果的に最適化するために、正確な選択性とコスト見積に依存する。
この戦略はリレーショナルDBMSには有効であるが,機械学習(ML)クエリ処理に適したDBMSには十分ではない。
ML中心のDBMSでは、クエリ最適化は2つの理由から難しい。
まず、クエリのパフォーマンスボトルネックは、ディープラーニングモデルをラップするユーザ定義関数(UDF)に移行し、クエリをプロファイリングせずにUDF統計を正確に見積もるのは困難である。
これは不正確な統計とサブ最適クエリ計画につながる。
次に、MLクエリの最適なクエリプランはデータ依存であり、実行中にクエリ計画に適応するためにDBMSを必要とする。
したがって、このようなクエリには静的なクエリプランでは不十分である。
本稿では、適応クエリ処理(AQP)を用いて、MLクエリを効率的に処理するML中心DBMSであるHydroについて述べる。
Hydroは、最適な述語評価順序を確保し、UDF実行のスケーラビリティを向上させることで、UDFベースのクエリ述語を迅速に評価するように設計されている。
AQPを統合することで、HydroはUDF統計を継続的に監視し、データを最適な順序で述語にルーティングし、述語を評価するリソースを動的に割り当てる。
ベースラインシステム上で最大11.52倍のスピードアップを実現し,Hydroの有効性を実証する。
関連論文リスト
- Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳（メタデータ） (2024-03-09T07:01:44Z) - Roq: Robust Query Optimization Based on a Risk-aware Learned Cost Model [3.0784574277021406]
本稿では,リスク認識型学習アプローチに基づくロバストなクエリ最適化を実現するための包括的フレームワークを提案する。
Roqには、クエリ最適化の文脈におけるロバストネスの概念の新たな形式化が含まれている。
我々は、Roqが最先端技術と比較して堅牢なクエリ最適化に大幅な改善をもたらすことを実験的に実証した。
論文 参考訳（メタデータ） (2024-01-26T21:16:37Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳（メタデータ） (2023-09-13T01:12:52Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳（メタデータ） (2023-07-21T17:00:06Z) - Improving Text Matching in E-Commerce Search with A Rationalizable,
Intervenable and Fast Entity-Based Relevance Model [78.80174696043021]
エンティティベース関連モデル(EBRM)と呼ばれる新しいモデルを提案する。
この分解により、高精度にクロスエンコーダQE関連モジュールを使用できる。
また、ユーザログから自動生成されたQEデータによるQEモジュールの事前トレーニングにより、全体的なパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-07-01T15:44:53Z) - Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。
Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
論文 参考訳（メタデータ） (2023-06-11T22:39:28Z) - CERT: Finding Performance Issues in Database Systems Through the Lens of
Cardinality Estimation [6.789710498230718]
本稿では,CERT(Cardinality Restriction Testing)を提案する。
CERTテストでは、クエリ最適化の最も重要な部分であることが示されている。
論文 参考訳（メタデータ） (2023-06-01T05:21:31Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - Approximating Aggregated SQL Queries With LSTM Networks [31.528524004435933]
本稿では、近似クエリ処理(AQP)とも呼ばれるクエリ近似法を提案する。
我々は、LSTMネットワークを用いて、クエリと結果の関係を学習し、クエリ結果を予測するための高速な推論層を提供する。
提案手法では,1秒間に最大12万のクエリを予測でき,クエリのレイテンシは2ms以下であった。
論文 参考訳（メタデータ） (2020-10-25T16:17:58Z) - Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。
IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。
IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
論文 参考訳（メタデータ） (2020-01-10T16:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。