論文の概要: JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2307.11704v2
• Date: Wed, 18 Oct 2023 03:25:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 19:51:53.678814
• Title: JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning
• Title（参考訳）: JoinGym:強化学習のための効率的なクエリ最適化環境
• Authors: Kaiwen Wang, Junxiong Wang, Yueying Li, Nathan Kallus, Immanuel Trummer, Wen Sun
• Abstract要約: 結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
• 参考スコア（独自算出の注目度）: 58.71541261221863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Join order selection (JOS) is the problem of ordering join operations to minimize total query execution cost and it is the core NP-hard combinatorial optimization problem of query optimization. In this paper, we present JoinGym, a lightweight and easy-to-use query optimization environment for reinforcement learning (RL) that captures both the left-deep and bushy variants of the JOS problem. Compared to existing query optimization environments, the key advantages of JoinGym are usability and significantly higher throughput which we accomplish by simulating query executions entirely offline. Under the hood, JoinGym simulates a query plan's cost by looking up intermediate result cardinalities from a pre-computed dataset. We release a novel cardinality dataset for $3300$ SQL queries based on real IMDb workloads which may be of independent interest, e.g., for cardinality estimation. Finally, we extensively benchmark four RL algorithms and find that their cost distributions are heavy-tailed, which motivates future work in risk-sensitive RL. In sum, JoinGym enables users to rapidly prototype RL algorithms on realistic database problems without needing to setup and run live systems.
• Abstract（参考訳）: JOS(Join Order selection)は、クエリの総実行コストを最小限に抑えるために結合操作を順序付けする問題であり、クエリ最適化のNPハード組合せ最適化問題である。 本稿では,JOS問題の左深部とブッディ部の両方をキャプチャする強化学習(RL)のための軽量で使いやすいクエリ最適化環境であるJoinGymを提案する。 既存のクエリ最適化環境と比較して、JoinGymの主な利点は、完全にオフラインでクエリ実行をシミュレートすることで実現したユーザビリティとスループットである。 内部でjoingymは、事前に計算されたデータセットから中間結果の基数を調べることで、クエリプランのコストをシミュレートする。 我々は、実際のimdbワークロードに基づく3300ドルのsqlクエリのための新しい基数データセットをリリースします。 最後に、4つのRLアルゴリズムを広範囲にベンチマークし、そのコスト分布が重く、リスクに敏感なRLの今後の研究を動機付けていることを確かめる。 要約すると、JoinGymを使えば、ユーザはライブシステムのセットアップや実行を必要とせずに、現実的なデータベース上のRLアルゴリズムを迅速にプロトタイプできる。

関連論文リスト

• GenJoin: Conditional Generative Plan-to-Plan Query Optimizer that Learns from Subplan Hints [1.3108652488669732]
  我々は,クエリ最適化問題を共生生成タスクとして考える,新しい学習クエリであるGenJoinを提案する。 GenJoinは、よく知られた2つの実世界のベンチマークの最先端メソッドと同様に、大きく、一貫してパフォーマンスを向上する最初の学習クエリである。
  論文  参考訳（メタデータ） (2024-11-07T08:31:01Z)
• The Unreasonable Effectiveness of LLMs for Query Optimization [4.50924404547119]
  クエリテキストの埋め込みには,クエリ最適化に有用な意味情報が含まれていることを示す。 少数の組込みクエリベクタで訓練された代替クエリプラン間の単純なバイナリが既存のシステムより優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-05T07:10:00Z)
• Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization [52.80408805368928]
  本稿では,バッチ取得のための新しいグリーディ型サブセット選択アルゴリズムを提案する。 赤蛍光タンパク質に関する実験により,提案手法は1.69倍少ないクエリでベースライン性能を達成できることが判明した。
  論文  参考訳（メタデータ） (2024-06-21T05:57:08Z)
• Reinforcement Learning from Human Feedback with Active Queries [67.27150911254155]
  現在の強化学習アプローチは、多くの場合、大量の人間による嗜好データを必要とする。 本稿では,能動学習の成功に触発されたクエリ効率の高いRLHF手法を提案する。 実験の結果,ADPOは人間の好みに対するクエリの約半分しか作成していないが,最先端のDPO法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T18:58:40Z)
• Roq: Robust Query Optimization Based on a Risk-aware Learned Cost Model [3.0784574277021406]
  本稿では,リスク認識型学習アプローチに基づくロバストなクエリ最適化を実現するための包括的フレームワークを提案する。 Roqには、クエリ最適化の文脈におけるロバストネスの概念の新たな形式化が含まれている。 我々は、Roqが最先端技術と比較して堅牢なクエリ最適化に大幅な改善をもたらすことを実験的に実証した。
  論文  参考訳（メタデータ） (2024-01-26T21:16:37Z)
• Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
  パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-06-11T22:39:28Z)
• Lero: A Learning-to-Rank Query Optimizer [49.841082217997354]
  これは、ネイティブクエリの上に構築され、クエリ最適化を改善するために継続的に学習される。 Leroはスクラッチから学習を構築するのではなく、数十年にわたるデータベースの知恵を活用し、ネイティブ性を改善するように設計されている。 Leroはいくつかのベンチマークでほぼ最適なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-14T07:31:11Z)
• How to Query An Oracle? Efficient Strategies to Label Data [59.89900843097016]
  機械学習におけるデータセットのラベル付けに専門家の託宣を照会する際の基本的な問題について考察する。 本稿では,サンプルをラベル付けするために,ラウンド・バイ・ラウンドでランダム化されたバッチアルゴリズムを提案し,クエリレートが$O(fracNk2)$であることを示す。 さらに,適応型グリージークエリ方式を提案し,三重項クエリを用いたサンプルあたり平均$approx 0.2N$クエリを実現する。
  論文  参考訳（メタデータ） (2021-10-05T20:15:35Z)
• Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information [78.78486761923855]
  多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。 本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。 これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
  論文  参考訳（メタデータ） (2021-04-19T17:22:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。