論文の概要: Improving DBMS Scheduling Decisions with Fine-grained Performance Prediction on Concurrent Queries -- Extended

• arxiv url: http://arxiv.org/abs/2501.16256v1
• Date: Mon, 27 Jan 2025 17:55:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:54:13.105273
• Title: Improving DBMS Scheduling Decisions with Fine-grained Performance Prediction on Concurrent Queries -- Extended
• Title（参考訳）: 並行クエリ上でのきめ細かいパフォーマンス予測によるDBMSスケジューリング決定の改善 -- 拡張
• Authors: Ziniu Wu, Markos Markakis, Chunwei Liu, Peter Baile Chen, Balakrishnan Narayanaswamy, Tim Kraska, Samuel Madden,
• Abstract要約: IconqSchedは、クエリの実行順序とタイミングを最適化する、新しい、原則化された非侵入スケジューラである。 IconqSchedは、システムランタイムをブラックボックスとして扱う、新しいきめ細かい予測器であるIconqを備えている。 我々はIconqSchedを実際のワークロードトレースを使用したエンドツーエンドランタイムの観点から他のスケジューラと比較する。
• 参考スコア（独自算出の注目度）: 15.354441937462271
• License:
• Abstract: Query scheduling is a critical task that directly impacts query performance in database management systems (DBMS). Deeply integrated schedulers, which require changes to DBMS internals, are usually customized for a specific engine and can take months to implement. In contrast, non-intrusive schedulers make coarse-grained decisions, such as controlling query admission and re-ordering query execution, without requiring modifications to DBMS internals. They require much less engineering effort and can be applied across a wide range of DBMS engines, offering immediate benefits to end users. However, most existing non-intrusive scheduling systems rely on simplified cost models and heuristics that cannot accurately model query interactions under concurrency and different system states, possibly leading to suboptimal scheduling decisions. This work introduces IconqSched, a new, principled non-intrusive scheduler that optimizes the execution order and timing of queries to enhance total end-to-end runtime as experienced by the user query queuing time plus system runtime. Unlike previous approaches, IconqSched features a novel fine-grained predictor, Iconq, which treats the DBMS as a black box and accurately estimates the system runtime of concurrently executed queries under different system states. Using these predictions, IconqSched is able to capture system runtime variations across different query mixes and system loads. It then employs a greedy scheduling algorithm to effectively determine which queries to submit and when to submit them. We compare IconqSched to other schedulers in terms of end-to-end runtime using real workload traces. On Postgres, IconqSched reduces end-to-end runtime by 16.2%-28.2% on average and 33.6%-38.9% in the tail. Similarly, on Redshift, it reduces end-to-end runtime by 10.3%-14.1% on average and 14.9%-22.2% in the tail.
• Abstract（参考訳）: クエリスケジューリングは、データベース管理システム(DBMS)のクエリパフォーマンスに直接影響を与える重要なタスクである。 DBMS内部の変更を必要とする深く統合されたスケジューラは通常、特定のエンジン用にカスタマイズされ、実装に数ヶ月を要する。 対照的に、非侵入スケジューラは、DBMS内部の変更を必要とせず、クエリの入力やクエリ実行の再注文などの粗い決定を行う。 エンジニアリングの労力を大幅に削減し、幅広いDBMSエンジンに適用することが可能で、エンドユーザに即時メリットを提供します。 しかし、既存のほとんどの非侵入スケジューリングシステムは、並行性と異なるシステム状態下でのクエリインタラクションを正確にモデル化できない簡易なコストモデルとヒューリスティックに依存しており、おそらくはサブ最適スケジューリング決定に繋がる。 この作業では、IconqSchedが導入された。IconqSchedは、クエリの実行順序とタイミングを最適化し、ユーザクエリキュー時間とシステムランタイムが経験した、エンドツーエンドランタイム全体の拡張を行う。 従来のアプローチとは異なり、IconqSchedは、DBMSをブラックボックスとして扱い、異なるシステム状態下で並列に実行されるクエリのシステムランタイムを正確に推定する、新しいきめ細かい予測器であるIconqを備えている。 これらの予測を使用して、IconqSchedは、さまざまなクエリミックスとシステム負荷のシステムランタイムのバリエーションをキャプチャすることができる。 次に、グレーディーなスケジューリングアルゴリズムを使用して、どのクエリを提出するか、いつ送信するかを効果的に決定する。 我々はIconqSchedを実際のワークロードトレースを使用したエンドツーエンドランタイムの観点から他のスケジューラと比較する。 Postgresでは、IconqSchedはエンド・ツー・エンドのランタイムを平均で16.2%-28.2%、テールで33.6%-38.9%削減している。 同様にRedshiftでは、エンド・ツー・エンドのランタイムを平均で10.3%-14.1%、テールで14.9%-22.2%削減している。

関連論文リスト

• PRICE: A Pretrained Model for Cross-Database Cardinality Estimation [78.30959470441442]
  クエリ実行計画の最適化には,カーディナリティ推定(CardEst)が不可欠である。 近年のMLベースのCardEst法は, 製造コストが高いため, 高い精度で展開が困難である。 PRetrained MultI-table CardEstモデルであるPRICEを提案する。
  論文  参考訳（メタデータ） (2024-06-03T06:21:53Z)
• Budget-aware Query Tuning: An AutoML Perspective [14.561951257365953]
  現代のデータベースシステムは、入力クエリの優れた実行計画を作成するために、コストベースのクエリに依存している。 コストユニットの値を変えることで、デフォルトのクエリプランを大幅に上回るクエリプランを得ることができることを示す。
  論文  参考訳（メタデータ） (2024-03-29T20:19:36Z)
• Hydro: Adaptive Query Processing of ML Queries [7.317548344184541]
  機械学習(ML)クエリを効率的に処理するための適応クエリ処理(AQP)であるHydroを提案する。 ベースラインシステム上で最大11.52倍のスピードアップを実現し,Hydroの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-22T01:17:07Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
  パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-06-11T22:39:28Z)
• CERT: Finding Performance Issues in Database Systems Through the Lens of Cardinality Estimation [6.789710498230718]
  本稿では,CERT(Cardinality Restriction Testing)を提案する。 CERTテストでは、クエリ最適化の最も重要な部分であることが示されている。
  論文  参考訳（メタデータ） (2023-06-01T05:21:31Z)
• Scheduling in Parallel Finite Buffer Systems: Optimal Decisions under Delayed Feedback [29.177402567437206]
  本稿では,遅延認識の限られた情報の下で並列キューシステムにおけるスケジューリング決定をキャプチャする部分観測可能(PO)モデルを提案する。 得られたポリシーが他の限られた情報スケジューリング戦略より優れていることを数値的に示す。 本稿では,Kaggleが提供するネットワークデータを用いてリアルタイム並列処理を最適化する方法を示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:02Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud System [54.588242387136376]
  エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。 まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。 次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。 第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
  論文  参考訳（メタデータ） (2021-01-17T03:45:25Z)
• Session-Aware Query Auto-completion using Extreme Multi-label Ranking [61.753713147852125]
  本稿では,セッション対応クエリ自動補完の新たな手法を,XMR(Multi Multi-Xtreme Ranking)問題として取り上げる。 アルゴリズムのキーステップにいくつかの修正を提案することにより、この目的のために一般的なXMRアルゴリズムを適応させる。 当社のアプローチは、セッション情報を活用しながら、自動補完システムの厳しいレイテンシ要件を満たします。
  論文  参考訳（メタデータ） (2020-12-09T17:56:22Z)
• A Feedback Scheme to Reorder a Multi-Agent Execution Schedule by Persistently Optimizing a Switchable Action Dependency Graph [65.70656676650391]
  複数の自動誘導車両 (AGV) が共通作業空間をナビゲートし, 様々な作業を行う。 一つのアプローチは、Action Dependency Graph (ADG)を構築し、そのルートに沿って進むとAGVの順序を符号化する。 ワークスペースが人間やサードパーティロボットのような動的障害によって共有されている場合、AGVは大きな遅延を経験することができる。 本稿では,各AGVの経路完了時間を最小限に抑えるために,非循環ADGを繰り返し修正するオンライン手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T14:39:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。