論文の概要: FLAT: Fast, Lightweight and Accurate Method for Cardinality Estimation
- arxiv url: http://arxiv.org/abs/2011.09022v5
- Date: Wed, 19 May 2021 07:37:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 04:47:55.534343
- Title: FLAT: Fast, Lightweight and Accurate Method for Cardinality Estimation
- Title（参考訳）: FLAT: 高速で軽量で高精度な心電図推定法
- Authors: Rong Zhu, Ziniu Wu, Yuxing Han, Kai Zeng, Andreas Pfadler, Zhengping
Qian, Jingren Zhou, Bin Cui
- Abstract要約: 確率計算の高速化とグラフィカルモデルサイズの軽量化,推定精度の向上を実現したCardEst法であるFLATを提案する。
FLATは、基礎となるFSPNモデル上で、ほぼ線形時間で効率的なオンライン確率計算をサポートする。
単一のテーブルクエリとマルチテーブルジョインクエリの両方の濃度を推定できる。
1〜5桁の精度、1〜3桁の確率速度、1～2桁のストレージコストを実現する。
- 参考スコア（独自算出の注目度）: 45.98791307420517
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Query optimizers rely on accurate cardinality estimation (CardEst) to produce
good execution plans. The core problem of CardEst is how to model the rich
joint distribution of attributes in an accurate and compact manner. Despite
decades of research, existing methods either over simplify the models only
using independent factorization which leads to inaccurate estimates, or over
complicate them by lossless conditional factorization without any independent
assumption which results in slow probability computation. In this paper, we
propose FLAT, a CardEst method that is simultaneously fast in probability
computation, lightweight in model size and accurate in estimation quality. The
key idea of FLAT is a novel unsupervised graphical model, called FSPN. It
utilizes both independent and conditional factorization to adaptively model
different levels of attributes correlations, and thus dovetails their
advantages. FLAT supports efficient online probability computation in near
liner time on the underlying FSPN model, provides effective offline model
construction and enables incremental model updates. It can estimate cardinality
for both single table queries and multi table join queries. Extensive
experimental study demonstrates the superiority of FLAT over existing CardEst
methods on well known IMDB benchmarks: FLAT achieves 1 to 5 orders of magnitude
better accuracy, 1 to 3 orders of magnitude faster probability computation
speed and 1 to 2 orders of magnitude lower storage cost. We also integrate FLAT
into Postgres to perform an end to end test. It improves the query execution
time by 12.9% on the benchmark workload, which is very close to the optimal
result 14.2% using the true cardinality.
- Abstract（参考訳）: クエリオプティマイザは、優れた実行計画を生成するために正確な濃度推定(CardEst)に依存します。
CardEstの中核的な問題は、属性のリッチな結合分布を正確かつコンパクトにモデル化する方法である。
何十年にもわたっての研究にもかかわらず、既存の手法は、不正確な推定につながる独立因数分解のみを使用してモデルを単純化しすぎているか、あるいは確率計算を遅くする独立した仮定を伴わない無条件因数分解によってそれらを過度に複雑化する。
本稿では,確率計算において同時に高速で,モデルサイズが軽量で,推定品質が正確であるCardEst法であるFLATを提案する。
FLATのキーとなるアイデアは、FSPNと呼ばれる新しい教師なしグラフィカルモデルである。
属性相関の異なるレベルを適応的にモデル化するために、独立分解と条件分解の両方を利用し、その利点を補う。
FLATは、基礎となるFSPNモデルにほぼ線形時間で効率的なオンライン確率計算をサポートし、効果的なオフラインモデル構築を提供し、インクリメンタルモデル更新を可能にする。
単一のテーブルクエリとマルチテーブルジョインクエリの両方の濃度を見積もることができる。
flatは1桁から5桁の精度が向上し、1桁から3桁の確率計算速度が向上し、1桁から2桁のストレージコストが低下する。
また、FLATをPostgresに統合してエンドツーエンドのテストを行います。
クエリの実行時間をベンチマークのワークロードで12.9%改善し、真の濃度を使って14.2%の最適結果に非常に近い。
関連論文リスト
- CardBench: A Benchmark for Learned Cardinality Estimation in Relational Databases [17.46316633654637]
データベースにおける高いクエリパフォーマンスを実現するには、心臓病推定が不可欠である。
研究者が新しい学習アプローチによる進捗を評価することができるような、体系的なベンチマークやデータセットは存在しない。
我々は,20の異なる実世界のデータベースに数千のクエリを格納したベンチマークを,学習された濃度推定のためにリリースした。
論文 参考訳（メタデータ） (2024-08-28T23:25:25Z) - PRICE: A Pretrained Model for Cross-Database Cardinality Estimation [78.30959470441442]
クエリ実行計画の最適化には,カーディナリティ推定(CardEst)が不可欠である。
近年のMLベースのCardEst法は, 製造コストが高いため, 高い精度で展開が困難である。
PRetrained MultI-table CardEstモデルであるPRICEを提案する。
論文 参考訳（メタデータ） (2024-06-03T06:21:53Z) - AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。
手作り正則化技術を用いた頑健な微調整への最近のアプローチ
我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
論文 参考訳（メタデータ） (2024-01-18T18:58:49Z) - FactorJoin: A New Cardinality Estimation Framework for Join Queries [35.22928513918166]
カーディナリティ推定は、クエリ最適化における最も根本的で難しい問題の1つである。
結合クエリを推定する新しいフレームワークであるFacterJoinを提案する。
評価において、FacterJoinは従来の最先端の学習手法よりも効果的に推定できる。
論文 参考訳（メタデータ） (2022-12-11T15:51:39Z) - Glue: Adaptively Merging Single Table Cardinality to Estimate Join Query
Size [35.1093718746362]
カーディナリティ推定(CardEst)は、高品質なクエリプランを生成する上で重要な役割を果たす。
CardEstの最も難しい問題、すなわち、複数のテーブル上でジョインクエリサイズを推定する方法は、広く解決されていない。
本稿では,テーブル単位のCardEst結果をサポートするGlueという,非常に一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-07T02:46:46Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳（メタデータ） (2021-03-17T23:13:25Z) - BayesCard: Revitilizing Bayesian Frameworks for Cardinality Estimation [25.871965040723772]
望ましいCardEstメソッドは、優れたアルゴリズム性能を達成し、さまざまなデータ設定に安定し、システムデプロイメントに親しみやすくする必要がある。
BayesCardはBNの利点、すなわち高い推定精度と解釈可能性を引き継ぐ最初のフレームワークである。
同等かそれ以上の精度,1-2桁の高速化,1-3桁のトレーニング時間,1-3桁のモデルサイズ,1-2桁の高速更新を実現している。
論文 参考訳（メタデータ） (2020-12-29T13:21:18Z) - Probabilistic Case-based Reasoning for Open-World Knowledge Graph
Completion [59.549664231655726]
ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。
本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。
提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
論文 参考訳（メタデータ） (2020-10-07T17:48:12Z) - NeuroCard: One Cardinality Estimator for All Tables [23.723132106252272]
NeuroCardは、データベース全体に1つの神経密度推定器を構築する結合濃度推定器である。
NeuroCardは、最も優れた先行手法よりも精度の高いオーダーを達成している。
論文 参考訳（メタデータ） (2020-06-15T03:21:46Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。