論文の概要: CONCERTO: Complex Query Execution Mechanism-Aware Learned Cost Estimation
- arxiv url: http://arxiv.org/abs/2412.00749v2
- Date: Fri, 28 Mar 2025 12:47:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 15:28:30.043431
- Title: CONCERTO: Complex Query Execution Mechanism-Aware Learned Cost Estimation
- Title（参考訳）: CONCERTO: 複雑なクエリ実行機構-学習コストの推定
- Authors: Kaixin Zhang, Hongzhi Wang, Kunkai Gu, Ziqi Li, Chunyu Zhao, Yingze Li, Yu Yan,
- Abstract要約: 本稿では,ConCERTOを提案する。ConCERTOは,複雑なクエリ実行子であるmeChanism-awaE leaRned cosT estimatiOn法である。
ConCERTOはまず、各物理演算子に対して独立したリソースコストモデルを確立する。
次に、データフローツリーのバックボーンとコンカレント演算子間のリソース競合関係からなるDAG(Directed Acyclic Graph)を構築する。
- 参考スコア（独自算出の注目度）: 8.024724736461328
- License:
- Abstract: With the growing demand for massive data analysis, many DBMSs have adopted complex underlying query execution mechanisms, including vectorized operators, parallel execution, and dynamic pipeline modifications. However, there remains a lack of targeted Query Performance Prediction (QPP) methods for these complex execution mechanisms and their interactions, as most existing approaches focus on traditional tree-shaped query plans and static serial executors. To address this challenge, this paper proposes CONCERTO, a Complex query executiON meChanism-awaE leaRned cosT estimatiOn method. CONCERTO first establishes independent resource cost models for each physical operator. It then constructs a Directed Acyclic Graph (DAG) consisting of a dataflow tree backbone and resource competition relationships among concurrent operators. After calibrating the cost impact of parallel operator execution using Graph Attention Networks (GATs) with additional attention mechanisms, CONCERTO extracts and aggregates cost vector trees through Temporal Convolutional Networks (TCNs), ultimately achieving effective query performance prediction. Experimental results demonstrate that CONCERTO achieves higher prediction accuracy than existing methods.
- Abstract（参考訳）: 大量のデータ分析の需要が高まっているため、多くのDBMSはベクトル化演算子、並列実行、動的パイプライン修正など、複雑なクエリ実行メカニズムを採用している。
しかしながら、これらの複雑な実行メカニズムとその相互作用に対するターゲットクエリパフォーマンス予測(QPP)メソッドは、従来型のクエリプランや静的シリアルエグゼキュータに重点を置いている。
この課題に対処するために,ConCERTO(ConcERTO, Complex query executiON meChanism-awaE leaRned cosT estimatiOn)を提案する。
CONCERTOはまず、各物理演算子に対して独立したリソースコストモデルを確立する。
次に、データフローツリーのバックボーンとコンカレント演算子間のリソース競合関係からなるDAG(Directed Acyclic Graph)を構築する。
グラフ注意ネットワーク(GAT)を付加的な注意機構で並列演算子実行のコスト効果を校正した後、ConCERTOは時間畳み込みネットワーク(TCN)を通じてコストベクトルツリーを抽出・集約し、最終的に効率的なクエリ性能予測を実現する。
実験の結果,CONCERTOは既存の手法よりも高い精度で予測できることがわかった。
関連論文リスト
- Query Performance Explanation through Large Language Model for HTAP Systems [8.278943524339264]
ハイブリッドトランザクションおよび分析処理システムでは、ユーザは、あるエンジンからのクエリプランが他のエンジンよりも遅い理由を理解するのに苦労することが多い。
本稿では,大規模言語モデル(LLM)を活用して,HTAPシステムにおけるクエリ性能を説明する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-02T16:55:07Z) - COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。
我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。
当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
論文 参考訳（メタデータ） (2024-10-12T23:56:19Z) - Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。
分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。
BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2024-09-21T18:39:53Z) - QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。
我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。
様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文 参考訳（メタデータ） (2024-08-20T03:06:48Z) - Powering In-Database Dynamic Model Slicing for Structured Data Analytics [31.360239181279525]
本稿では,指定されたsqlクエリのモデルをカスタマイズする新しい動的スライシング手法であるLEADSを紹介する。
LEADSは、専門家(MoE)の混合を通じて構造化データの予測モデリングを改善し、SQL対応ゲーティングネットワークによって効率を維持する。
実世界のデータセットに関する我々の実験は、LEADSがベースラインモデルより一貫して優れていることを示した。
論文 参考訳（メタデータ） (2024-05-01T15:18:12Z) - Roq: Robust Query Optimization Based on a Risk-aware Learned Cost Model [3.0784574277021406]
本稿では,リスク認識型学習アプローチに基づくロバストなクエリ最適化を実現するための包括的フレームワークを提案する。
Roqには、クエリ最適化の文脈におけるロバストネスの概念の新たな形式化が含まれている。
我々は、Roqが最先端技術と比較して堅牢なクエリ最適化に大幅な改善をもたらすことを実験的に実証した。
論文 参考訳（メタデータ） (2024-01-26T21:16:37Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳（メタデータ） (2023-07-21T17:00:06Z) - Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。
Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
論文 参考訳（メタデータ） (2023-06-11T22:39:28Z) - BitE : Accelerating Learned Query Optimization in a Mixed-Workload
Environment [0.36700088931938835]
BitEは、データベース統計とメタデータを使用して、学習したクエリをチューニングしてパフォーマンスを向上させる、新しいアンサンブル学習モデルである。
我々のモデルは従来の手法に比べて19.6%改善されたクエリと15.8%改善されたクエリを実現している。
論文 参考訳（メタデータ） (2023-06-01T16:05:33Z) - DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。
本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。
4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文 参考訳（メタデータ） (2022-10-28T11:18:10Z) - Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。
IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。
IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
論文 参考訳（メタデータ） (2020-01-10T16:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。