論文の概要: CERT: Finding Performance Issues in Database Systems Through the Lens of Cardinality Estimation

• arxiv url: http://arxiv.org/abs/2306.00355v3
• Date: Wed, 10 Jan 2024 02:56:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 17:43:59.649325
• Title: CERT: Finding Performance Issues in Database Systems Through the Lens of Cardinality Estimation
• Title（参考訳）: cert: 濃度推定のレンズを通してデータベースシステムの性能問題を見つける
• Authors: Jinsheng Ba, Manuel Rigger
• Abstract要約: 本稿では,CERT(Cardinality Restriction Testing)を提案する。 CERTテストでは、クエリ最適化の最も重要な部分であることが示されている。
• 参考スコア（独自算出の注目度）: 6.789710498230718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Database Management Systems (DBMSs) process a given query by creating a query plan, which is subsequently executed, to compute the query's result. Deriving an efficient query plan is challenging, and both academia and industry have invested decades into researching query optimization. Despite this, DBMSs are prone to performance issues, where a DBMS produces an unexpectedly inefficient query plan that might lead to the slow execution of a query. Finding such issues is a longstanding problem and inherently difficult, because no ground truth information on an expected execution time exists. In this work, we propose Cardinality Estimation Restriction Testing (CERT), a novel technique that finds performance issues through the lens of cardinality estimation. Given a query on a database, CERT derives a more restrictive query (e.g., by replacing a LEFT JOIN with an INNER JOIN), whose estimated number of rows should not exceed the estimated number of rows for the original query. CERT tests cardinality estimation specifically, because they were shown to be the most important part for query optimization; thus, we expect that finding and fixing such issues might result in the highest performance gains. In addition, we found that other kinds of query optimization issues can be exposed by unexpected estimated cardinalities, which can also be found by CERT. CERT is a black-box technique that does not require access to the source code; DBMSs expose query plans via the EXPLAIN statement. CERT eschews executing queries, which is costly and prone to performance fluctuations. We evaluated CERT on three widely used and mature DBMSs, MySQL, TiDB, and CockroachDB. CERT found 13 unique issues, of which 2 issues were fixed and 9 confirmed by the developers. We expect that this new angle on finding performance bugs will help DBMS developers in improving DMBSs' performance.
• Abstract（参考訳）: データベース管理システム(DBMS)は、クエリ計画を作成して所定のクエリを処理し、その後実行し、クエリの結果を計算する。 効率的なクエリ計画の導出は困難であり、学術と産業の両方がクエリ最適化の研究に何十年も費やしている。 しかし、DBMSはパフォーマンス上の問題になりがちで、DBMSは予期しないほど非効率なクエリプランを生成し、クエリの実行が遅くなる可能性がある。 このような問題を見つけることは長年の問題であり、期待される実行時間に関する根拠となる真理情報は存在しないため、本質的に困難である。 本研究では,濃度推定のレンズを通して性能問題を見つける新しい手法である濃度推定制限テスト(cert)を提案する。 データベース上のクエリが与えられた場合、CERTはより制限的なクエリ(例えば、LEFT JOINをINNER JOINに置き換えるなど)を導出する。 CERTテストでは,クエリ最適化の最も重要な部分であることが示され,このような問題の発見と修正が最高のパフォーマンス向上をもたらすことを期待している。 さらに、他の種類のクエリ最適化問題は、CERTでも見られる予期せぬ推定基準によって明らかにできることがわかった。 CERTはソースコードへのアクセスを必要としないブラックボックス技術であり、DBMSはEXPLAINステートメントを通じてクエリプランを公開する。 certはクエリの実行を回避し、コストがかかり、パフォーマンスの変動が発生しやすい。 CERTを広く使われている3つの成熟DBMS、MySQL、TiDB、CockroachDBで評価した。 CERTは13のユニークな問題を発見し、そのうち2つは修正され、9つは開発者によって確認された。 私たちはDBMS開発者がDBMBSのパフォーマンスを改善するのに役立つパフォーマンスバグを見つけるための新しいアングルを期待しています。

関連論文リスト

• E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
  E-レポジトリは、直接スキーマリンクと候補述語拡張による課題に対処するために設計された新しいパイプラインである。 E-は、関連するデータベースアイテム(テーブル、列、値)と条件を質問に直接組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。 本研究では,従来の研究で広く研究されてきた手法であるスキーマフィルタリングの影響について検討し,先進的な大規模言語モデルと並行して適用した場合のリターンの低下を実証する。
  論文  参考訳（メタデータ） (2024-09-25T09:02:48Z)
• DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
  De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。 また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T14:43:15Z)
• Database-Augmented Query Representation for Information Retrieval [59.57065228857247]
  データベース拡張クエリ表現(DAQu)と呼ばれる新しい検索フレームワークを提案する。 DAQuは、元のクエリを複数のテーブルにまたがるさまざまな(クエリ関連の)メタデータで拡張する。 リレーショナルデータベースのメタデータを組み込む様々な検索シナリオにおいてDAQuを検証する。
  論文  参考訳（メタデータ） (2024-06-23T05:02:21Z)
• The Surprising Effectiveness of Rankers Trained on Expanded Queries [4.874071145951159]
  我々は,他のクエリのパフォーマンスを損なうことなく,難しいクエリや難しいクエリのランク付け性能を向上させる。 我々は,クエリ毎に推定されるクエリ性能スコアとともに,特殊ランク付け器と基本ランク付け器の関連性スコアを組み合わせる。 DL-Hardデータセットを用いた実験では,クエリ性能に基づくスコアリング手法が,パスランキングタスクにおいて最大25%の大幅な改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-04-03T09:12:22Z)
• Hydro: Adaptive Query Processing of ML Queries [7.317548344184541]
  機械学習(ML)クエリを効率的に処理するための適応クエリ処理(AQP)であるHydroを提案する。 ベースラインシステム上で最大11.52倍のスピードアップを実現し,Hydroの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-22T01:17:07Z)
• Testing Database Engines via Query Plan Guidance [6.789710498230718]
  本稿では,自動テストの"興味深い"テストケースへの誘導を目的としたクエリプランガイダンス(QPG)の概念を提案する。 我々は,成熟した,広く使用されている,多様なデータベースシステム –DBite,TiDB,Cockroach – に適用した。
  論文  参考訳（メタデータ） (2023-12-29T08:09:47Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing [110.97778888305506]
  BRIDGEは、フィールドのサブセットが質問に言及されたセル値で拡張されるタグ付きシーケンスの質問とDBスキーマを表します。 BRIDGEは、人気のクロスDBテキスト-リレーショナルベンチマークで最先端のパフォーマンスを達成しました。 本分析は,BRIDGEが望まれる相互依存を効果的に捕捉し,さらにテキストDB関連タスクに一般化する可能性を示唆している。
  論文  参考訳（メタデータ） (2020-12-23T12:33:52Z)
• DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding [90.85913515409275]
  近年のオープンドメイン質問応答は,BERT などの事前学習言語モデルを用いて顕著な性能向上を実現している。 本稿では,2つのBERTモデルを持つコンテキストエンコーディングフレームワークであるDC-BERTと,すべての文書を事前エンコードし,それらのエンコーディングをキャッシュするオフラインBERTを提案する。 SQuADオープンとNatural Questionsオープンデータセットでは、DC-BERTは文書検索の10倍のスピードアップを実現し、QAパフォーマンスのほとんど(約98%)を維持している。
  論文  参考訳（メタデータ） (2020-02-28T08:18:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。