論文の概要: GenJoin: Conditional Generative Plan-to-Plan Query Optimizer that Learns from Subplan Hints

• arxiv url: http://arxiv.org/abs/2411.04525v1
• Date: Thu, 07 Nov 2024 08:31:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:37:46.918487
• Title: GenJoin: Conditional Generative Plan-to-Plan Query Optimizer that Learns from Subplan Hints
• Title（参考訳）: GenJoin: サブプランヒントから学ぶ条件付き生成Planクエリ最適化
• Authors: Pavel Sulimov, Claude Lehmann, Kurt Stockinger,
• Abstract要約: 我々は,クエリ最適化問題を共生生成タスクとして考える,新しい学習クエリであるGenJoinを提案する。 GenJoinは、よく知られた2つの実世界のベンチマークの最先端メソッドと同様に、大きく、一貫してパフォーマンスを向上する最初の学習クエリである。
• 参考スコア（独自算出の注目度）: 1.3108652488669732
• License:
• Abstract: Query optimization has become a research area where classical algorithms are being challenged by machine learning algorithms. At the same time, recent trends in learned query optimizers have shown that it is prudent to take advantage of decades of database research and augment classical query optimizers by shrinking the plan search space through different types of hints (e.g. by specifying the join type, scan type or the order of joins) rather than completely replacing the classical query optimizer with machine learning models. It is especially relevant for cases when classical optimizers cannot fully enumerate all logical and physical plans and, as an alternative, need to rely on less robust approaches like genetic algorithms. However, even symbiotically learned query optimizers are hampered by the need for vast amounts of training data, slow plan generation during inference and unstable results across various workload conditions. In this paper, we present GenJoin - a novel learned query optimizer that considers the query optimization problem as a generative task and is capable of learning from a random set of subplan hints to produce query plans that outperform the classical optimizer. GenJoin is the first learned query optimizer that significantly and consistently outperforms PostgreSQL as well as state-of-the-art methods on two well-known real-world benchmarks across a variety of workloads using rigorous machine learning evaluations.
• Abstract（参考訳）: クエリ最適化は、古典的なアルゴリズムが機械学習アルゴリズムによって挑戦されている研究領域となっている。 同時に、学習されたクエリオプティマイザの最近の傾向は、古典的なクエリオプティマイザを完全に機械学習モデルに置き換えるのではなく、さまざまな種類のヒント(例えば、ジョインタイプ、スキャンタイプ、ジョインの順序を指定することで)を通じてプラン検索スペースを縮小することで、数十年にわたるデータベース研究の活用と古典的なクエリオプティマイザの拡張が賢明であることを示している。 古典的なオプティマイザがすべての論理的計画と物理的計画を完全に列挙できない場合に特に関係があり、代替として遺伝的アルゴリズムのようなより堅牢なアプローチに頼る必要がある。 しかし、共生的に学習されたクエリオプティマイザでさえ、大量のトレーニングデータ、推論中の計画生成の遅さ、および様々なワークロード条件における不安定な結果の必要性によって妨げられている。 本稿では,クエリ最適化問題を生成タスクとして考慮し,ランダムなサブプランヒントセットから学習し,古典的なオプティマイザよりも優れたクエリプランを生成する,新しいクエリオプティマイザであるGenJoinを提案する。 GenJoinはPostgreSQLを著しく、一貫して上回り、厳格な機械学習評価を使用して、さまざまなワークロードでよく知られた2つの実世界のベンチマークで最先端のメソッドを動作させる最初の学習クエリオプティマイザである。

関連論文リスト

• The Unreasonable Effectiveness of LLMs for Query Optimization [4.50924404547119]
  クエリテキストの埋め込みには,クエリ最適化に有用な意味情報が含まれていることを示す。 少数の組込みクエリベクタで訓練された代替クエリプラン間の単純なバイナリが既存のシステムより優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-05T07:10:00Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
  パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-06-11T22:39:28Z)
• BitE : Accelerating Learned Query Optimization in a Mixed-Workload Environment [0.36700088931938835]
  BitEは、データベース統計とメタデータを使用して、学習したクエリをチューニングしてパフォーマンスを向上させる、新しいアンサンブル学習モデルである。 我々のモデルは従来の手法に比べて19.6%改善されたクエリと15.8%改善されたクエリを実現している。
  論文  参考訳（メタデータ） (2023-06-01T16:05:33Z)
• Lero: A Learning-to-Rank Query Optimizer [49.841082217997354]
  これは、ネイティブクエリの上に構築され、クエリ最適化を改善するために継続的に学習される。 Leroはスクラッチから学習を構築するのではなく、数十年にわたるデータベースの知恵を活用し、ネイティブ性を改善するように設計されている。 Leroはいくつかのベンチマークでほぼ最適なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-14T07:31:11Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Reinforcement Learning Based Query Vertex Ordering Model for Subgraph Matching [58.39970828272366]
  グラフマッチングアルゴリズムは、クエリグラフの埋め込みをデータグラフGに列挙する。 マッチング順序は、これらのバックトラックに基づくサブグラフマッチングアルゴリズムの時間効率において重要な役割を果たす。 本稿では,Reinforcement Learning (RL) と Graph Neural Networks (GNN) 技術を適用して,グラフマッチングアルゴリズムの高品質なマッチング順序を生成する。
  論文  参考訳（メタデータ） (2022-01-25T00:10:03Z)
• Robust Generalization and Safe Query-Specialization in Counterfactual Learning to Rank [62.28965622396868]
  本稿では,特徴量に基づく対実的学習手法であるgenSPECアルゴリズムについて紹介する。 以上の結果から,GENSPECは十分なクリックデータを持つクエリに対して,ほとんどあるいはノイズのないクエリに対してロバストな振る舞いを持ちながら,最適なパフォーマンスを実現することが示唆された。
  論文  参考訳（メタデータ） (2021-02-11T13:17:26Z)
• Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
  学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
  論文  参考訳（メタデータ） (2020-11-04T07:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。