論文の概要: A Learned Cost Model-based Cross-engine Optimizer for SQL Workloads

• arxiv url: http://arxiv.org/abs/2506.02802v1
• Date: Tue, 03 Jun 2025 12:32:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.417776
• Title: A Learned Cost Model-based Cross-engine Optimizer for SQL Workloads
• Title（参考訳）: SQLワークロードのためのコストモデルに基づくクロスエンジン最適化の学習
• Authors: András Strausz, Niels Pardon, Ioana Giurgiu,
• Abstract要約: Lakehouseシステムでは、同じデータを複数の実行エンジンでクエリすることができる。 学習コストモデルを用いて,多様なクエリに対するエンジン選択を自動化するクロスエンジンを提案する。 コスト推定にクエリ最適化された論理的計画を用いることで、最適化されていない計画を入力として使用することで、平均Qエラーを12.6%も削減できることを示す。
• 参考スコア（独自算出の注目度）: 3.7960472831772765
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Lakehouse systems enable the same data to be queried with multiple execution engines. However, selecting the engine best suited to run a SQL query still requires a priori knowledge of the query computational requirements and an engine capability, a complex and manual task that only becomes more difficult with the emergence of new engines and workloads. In this paper, we address this limitation by proposing a cross-engine optimizer that can automate engine selection for diverse SQL queries through a learned cost model. Optimized with hints, a query plan is used for query cost prediction and routing. Cost prediction is formulated as a multi-task learning problem, and multiple predictor heads, corresponding to different engines and provisionings, are used in the model architecture. This eliminates the need to train engine-specific models and allows the flexible addition of new engines at a minimal fine-tuning cost. Results on various databases and engines show that using a query optimized logical plan for cost estimation decreases the average Q-error by even 12.6% over using unoptimized plans as input. Moreover, the proposed cross-engine optimizer reduces the total workload runtime by up to 25.2% in a zero-shot setting and 30.4% in a few-shot setting when compared to random routing.
• Abstract（参考訳）: Lakehouseシステムでは、同じデータを複数の実行エンジンでクエリすることができる。 しかし、SQLクエリを実行するのに最適なエンジンを選択するには、クエリの計算要求とエンジン能力に関する優先順位の知識が必要である。 本稿では,学習コストモデルを用いてSQLクエリのエンジン選択を自動化するクロスエンジンオプティマイザを提案する。 ヒントで最適化されたクエリプランは、クエリコストの予測とルーティングに使用される。 コスト予測はマルチタスク学習問題として定式化され、モデルアーキテクチャでは、異なるエンジンとプロビジョニングに対応する複数の予測ヘッドが使用される。 これにより、エンジン固有のモデルを訓練する必要がなくなり、最小限の微調整コストで新しいエンジンを柔軟に追加できるようになった。 データベースやエンジンの様々な結果から、クエリ最適化された論理的計画を用いてコスト推定を行うことで、最適化されていない計画を入力として使用するよりも平均的なQエラーを12.6%減少させることが示された。 さらに、クロスエンジンオプティマイザにより、ゼロショット設定で最大25.2%、ランダムルーティングと比較して数ショット設定で最大30.4%削減される。

関連論文リスト

• DriveLMM-o1: A Step-by-Step Reasoning Dataset and Large Multimodal Model for Driving Scenario Understanding [76.3876070043663]
  自律運転のための段階的視覚的推論を推し進めるためのデータセットとベンチマークであるDriveLMM-o1を提案する。 私たちのベンチマークでは、トレーニングセットに18k以上のVQAサンプル、テストセットに4k以上、知覚、予測、計画に関するさまざまな質問をカバーしています。 我々のモデルは、最終回答精度が+7.49%向上し、以前の最高のオープンソースモデルよりも3.62%向上した。
  論文  参考訳（メタデータ） (2025-03-13T17:59:01Z)
• Improving DBMS Scheduling Decisions with Fine-grained Performance Prediction on Concurrent Queries -- Extended [15.354441937462271]
  IconqSchedは、クエリの実行順序とタイミングを最適化する、新しい、原則化された非侵入スケジューラである。 IconqSchedは、システムランタイムをブラックボックスとして扱う、新しいきめ細かい予測器であるIconqを備えている。 我々はIconqSchedを実際のワークロードトレースを使用したエンドツーエンドランタイムの観点から他のスケジューラと比較する。
  論文  参考訳（メタデータ） (2025-01-27T17:55:39Z)
• Budget-aware Query Tuning: An AutoML Perspective [14.561951257365953]
  現代のデータベースシステムは、入力クエリの優れた実行計画を作成するために、コストベースのクエリに依存している。 コストユニットの値を変えることで、デフォルトのクエリプランを大幅に上回るクエリプランを得ることができることを示す。
  論文  参考訳（メタデータ） (2024-03-29T20:19:36Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks [75.11008617118908]
  AutoML技術は、各タスクをスクラッチから独立して考慮し、高い計算コストをもたらす。 本稿では,従来の設計知識を新たな関心事に伝達することで,検索効率を向上させるAutoTransferを提案する。
  論文  参考訳（メタデータ） (2023-03-14T07:23:16Z)
• Lero: A Learning-to-Rank Query Optimizer [49.841082217997354]
  これは、ネイティブクエリの上に構築され、クエリ最適化を改善するために継続的に学習される。 Leroはスクラッチから学習を構築するのではなく、数十年にわたるデータベースの知恵を活用し、ネイティブ性を改善するように設計されている。 Leroはいくつかのベンチマークでほぼ最適なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-14T07:31:11Z)
• Forecasting SQL Query Cost at Twitter [2.124552987084511]
  Serviceは、履歴クエリ要求ログからモデルをトレーニングするために、機械学習技術を使用している。 モデルはCPU使用率予測の97.9%、メモリ使用率予測の97%の精度を達成することができる。
  論文  参考訳（メタデータ） (2022-04-12T05:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。