論文の概要: MERLIN: Multi-stagE query performance prediction for dynamic paRallel oLap pIpeliNe

• arxiv url: http://arxiv.org/abs/2412.00749v1
• Date: Sun, 01 Dec 2024 09:58:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:10.971971
• Title: MERLIN: Multi-stagE query performance prediction for dynamic paRallel oLap pIpeliNe
• Title（参考訳）: MERLIN: 動的paRallel oLap pipeliNeのマルチタグクエリ性能予測
• Authors: Kaixin Zhang, Hongzhi Wang, Kunkai Gu, Ziqi Li, Chunyu Zhao, Yingze Li, Yu Yan,
• Abstract要約: 大規模データ分析の需要が高まるにつれて、高性能なOLAPデータベース技術が出現している。 多くの実行者はSIMD演算子、並列実行、動的パイプライン修正などの高度な設計を採用する。 MERLINは、高性能OLAPのためのマルチステージクエリ性能予測手法である。
• 参考スコア（独自算出の注目度）: 8.024724736461328
• License:
• Abstract: High-performance OLAP database technology has emerged with the growing demand for massive data analysis. To achieve much higher performance, many DBMSs adopt sophisticated designs including SIMD operators, parallel execution, and dynamic pipeline modification. However, such advanced OLAP query execution mechanisms still lack targeted Query Performance Prediction (QPP) methods because most existing methods target conventional tree-shaped query plans and static serial executors. To address this problem, in this paper, we proposed MERLIN a multi-stage query performance prediction method for high-performance OLAP DBMSs. MERLIN first establishes resource cost models for each physical operator. Then, it constructs a DAG that consists of a data-flow tree backbone and resource competition relationships among concurrent operators. After using a GAT with an extra attention mechanism to calibrate the cost, the cost vector tree is extracted and summarized by a TCN, ultimately enabling effective query performance prediction. Experimental results demonstrate that MERLIN yields higher performance prediction precision than existing methods.
• Abstract（参考訳）: 大規模データ分析の需要が高まるにつれて、高性能なOLAPデータベース技術が出現している。 より高い性能を達成するため、多くのDBMSはSIMD演算子、並列実行、動的パイプライン修正などの高度な設計を採用する。 しかし,従来の木型クエリプランや静的シリアルエグゼキュータを対象とする手法では,クエリ性能予測(QPP)手法がまだ存在しない。 本稿では,高性能OLAP DBMSのマルチステージクエリ性能予測手法であるMERLINを提案する。 MERLINはまず、各物理演算子のリソースコストモデルを確立する。 次に、データフローツリーのバックボーンと、コンカレント演算子間のリソース競合関係からなるDAGを構築する。 コストを調整するために追加の注意機構を備えたGATを使用した後、コストベクターツリーをTCLによって抽出して要約し、最終的に効率的なクエリ性能予測を可能にする。 実験により,MERLINは既存手法よりも高い性能予測精度が得られることが示された。

関連論文リスト

• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Powering In-Database Dynamic Model Slicing for Structured Data Analytics [31.360239181279525]
  本稿では,指定されたsqlクエリのモデルをカスタマイズする新しい動的スライシング手法であるLEADSを紹介する。 LEADSは、専門家(MoE)の混合を通じて構造化データの予測モデリングを改善し、SQL対応ゲーティングネットワークによって効率を維持する。 実世界のデータセットに関する我々の実験は、LEADSがベースラインモデルより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-01T15:18:12Z)
• Roq: Robust Query Optimization Based on a Risk-aware Learned Cost Model [3.0784574277021406]
  本稿では,リスク認識型学習アプローチに基づくロバストなクエリ最適化を実現するための包括的フレームワークを提案する。 Roqには、クエリ最適化の文脈におけるロバストネスの概念の新たな形式化が含まれている。 我々は、Roqが最先端技術と比較して堅牢なクエリ最適化に大幅な改善をもたらすことを実験的に実証した。
  論文  参考訳（メタデータ） (2024-01-26T21:16:37Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
  パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-06-11T22:39:28Z)
• BitE : Accelerating Learned Query Optimization in a Mixed-Workload Environment [0.36700088931938835]
  BitEは、データベース統計とメタデータを使用して、学習したクエリをチューニングしてパフォーマンスを向上させる、新しいアンサンブル学習モデルである。 我々のモデルは従来の手法に比べて19.6%改善されたクエリと15.8%改善されたクエリを実現している。
  論文  参考訳（メタデータ） (2023-06-01T16:05:33Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
  代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。 IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。 IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-10T16:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。