論文の概要: Glue: Adaptively Merging Single Table Cardinality to Estimate Join Query Size

• arxiv url: http://arxiv.org/abs/2112.03458v1
• Date: Tue, 7 Dec 2021 02:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 03:10:27.056658
• Title: Glue: Adaptively Merging Single Table Cardinality to Estimate Join Query Size
• Title（参考訳）: Glue: 単一テーブルのカードを適宜マージしてクエリサイズを推定する
• Authors: Rong Zhu, Tianjing Zeng, Andreas Pfadler, Wei Chen, Bolin Ding, Jingren Zhou
• Abstract要約: カーディナリティ推定(CardEst)は、高品質なクエリプランを生成する上で重要な役割を果たす。 CardEstの最も難しい問題、すなわち、複数のテーブル上でジョインクエリサイズを推定する方法は、広く解決されていない。 本稿では,テーブル単位のCardEst結果をサポートするGlueという,非常に一般的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 35.1093718746362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cardinality estimation (CardEst), a central component of the query optimizer, plays a significant role in generating high-quality query plans in DBMS. The CardEst problem has been extensively studied in the last several decades, using both traditional and ML-enhanced methods. Whereas, the hardest problem in CardEst, i.e., how to estimate the join query size on multiple tables, has not been extensively solved. Current methods either reply on independence assumptions or apply techniques with heavy burden, whose performance is still far from satisfactory. Even worse, existing CardEst methods are often designed to optimize one goal, i.e., inference speed or estimation accuracy, which can not adapt to different occasions. In this paper, we propose a very general framework, called Glue, to tackle with these challenges. Its key idea is to elegantly decouple the correlations across different tables and losslessly merge single table CardEst results to estimate the join query size. Glue supports obtaining the single table-wise CardEst results using any existing CardEst method and can process any complex join schema. Therefore, it easily adapts to different scenarios having different performance requirements, i.e., OLTP with fast estimation time or OLAP with high estimation accuracy. Meanwhile, we show that Glue can be seamlessly integrated into the plan search process and is able to support counting distinct number of values. All these properties exhibit the potential advances of deploying Glue in real-world DBMS.
• Abstract（参考訳）: クエリオプティマイザの中心コンポーネントである濃度推定(cardest)は、dbmsで高品質なクエリプランを生成する上で重要な役割を果たす。 CardEst問題は、従来のML強化法とML強化法の両方を用いて、過去数十年にわたって広く研究されてきた。 しかし、cardestの最も難しい問題は、例えば、複数のテーブル上の結合クエリサイズを見積もる方法であるが、広く解決されていない。 現在の方法は、独立の前提に応答するか、重い負担でテクニックを適用するかのいずれかであり、そのパフォーマンスはまだ十分ではない。 さらに悪いことに、既存のCardEstメソッドは、しばしば1つのゴール、すなわち、異なる状況に適応できない推論速度や推定精度を最適化するために設計されている。 本稿では,これらの課題に取り組むために,glue と呼ばれる非常に一般的なフレームワークを提案する。 キーとなるアイデアは、異なるテーブル間の相関をエレガントに分離し、単一テーブルのcardest結果を損失なくマージして結合クエリサイズを見積もることである。 Glueは既存のCardEstメソッドを使用して単一のテーブル単位のCardEst結果を取得することをサポートし、複雑な結合スキーマを処理できる。 したがって、高速な推定時間を持つOLTPや高い推定精度を持つOLAPなど、異なる性能要件を持つ異なるシナリオに容易に適応できる。 一方、Glueは計画探索プロセスにシームレスに統合され、異なる数の値のカウントをサポートすることができることを示す。 これらの特性はすべて、現実のDBMSにGlueをデプロイする潜在的な進歩を示している。

関連論文リスト

• PRICE: A Pretrained Model for Cross-Database Cardinality Estimation [78.30959470441442]
  クエリ実行計画の最適化には,カーディナリティ推定(CardEst)が不可欠である。 近年のMLベースのCardEst法は, 製造コストが高いため, 高い精度で展開が困難である。 PRetrained MultI-table CardEstモデルであるPRICEを提案する。
  論文  参考訳（メタデータ） (2024-06-03T06:21:53Z)
• Is Table Retrieval a Solved Problem? Exploring Join-Aware Multi-Table Retrieval [52.592071689901196]
  本稿では,テーブル検索において,任意のクエリやデータベースに対して有用な結合関係を明らかにする手法を提案する。 提案手法は,F1スコアの最大9.3%,エンドツーエンドQAの最大5.4%の精度で,テーブル検索の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-04-15T15:55:01Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Scardina: Scalable Join Cardinality Estimation by Multiple Density Estimators [8.641606056228675]
  機械学習に基づく濃度推定手法が従来の手法に取って代わっている。 スキーマ構造に基づく分割モデルを用いた新しい結合濃度推定法であるScardinaを提案する。
  論文  参考訳（メタデータ） (2023-03-31T13:22:28Z)
• FactorJoin: A New Cardinality Estimation Framework for Join Queries [35.22928513918166]
  カーディナリティ推定は、クエリ最適化における最も根本的で難しい問題の1つである。 結合クエリを推定する新しいフレームワークであるFacterJoinを提案する。 評価において、FacterJoinは従来の最先端の学習手法よりも効果的に推定できる。
  論文  参考訳（メタデータ） (2022-12-11T15:51:39Z)
• Cardinality Estimation in DBMS: A Comprehensive Benchmark Evaluation [43.27881697012329]
  カーディナリティ推定(CardEst)は、クエリワークロードの高品質なクエリプランを生成する上で重要な役割を果たす。 本稿では,実際のデータセットにおけるCardEst手法の有効性を包括的かつ体系的に比較する。 我々はCardEstの新しいベンチマークを構築し、それは新しい複雑な現実世界STATSと多様なクエリSTATS-CEBを含んでいる。
  論文  参考訳（メタデータ） (2021-09-13T11:25:02Z)
• FLAT: Fast, Lightweight and Accurate Method for Cardinality Estimation [45.98791307420517]
  確率計算の高速化とグラフィカルモデルサイズの軽量化,推定精度の向上を実現したCardEst法であるFLATを提案する。 FLATは、基礎となるFSPNモデル上で、ほぼ線形時間で効率的なオンライン確率計算をサポートする。 単一のテーブルクエリとマルチテーブルジョインクエリの両方の濃度を推定できる。 1〜5桁の精度、1〜3桁の確率速度、1～2桁のストレージコストを実現する。
  論文  参考訳（メタデータ） (2020-11-18T01:14:45Z)
• NeuroCard: One Cardinality Estimator for All Tables [23.723132106252272]
  NeuroCardは、データベース全体に1つの神経密度推定器を構築する結合濃度推定器である。 NeuroCardは、最も優れた先行手法よりも精度の高いオーダーを達成している。
  論文  参考訳（メタデータ） (2020-06-15T03:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。