Fugu-MT 論文翻訳(概要): Lero: A Learning-to-Rank Query Optimizer

論文の概要: Lero: A Learning-to-Rank Query Optimizer

arxiv url: http://arxiv.org/abs/2302.06873v1
Date: Tue, 14 Feb 2023 07:31:11 GMT
ステータス: 処理完了
システム内更新日: 2023-02-15 16:12:51.530186
Title: Lero: A Learning-to-Rank Query Optimizer
Title（参考訳）: lero: 学習からランクへのクエリオプティマイザ
Authors: Rong Zhu, Wei Chen, Bolin Ding, Xingguang Chen, Andreas Pfadler, Ziniu Wu, Jingren Zhou
Abstract要約: これは、ネイティブクエリの上に構築され、クエリ最適化を改善するために継続的に学習される。 Leroはスクラッチから学習を構築するのではなく、数十年にわたるデータベースの知恵を活用し、ネイティブ性を改善するように設計されている。 Leroはいくつかのベンチマークでほぼ最適なパフォーマンスを達成する。
参考スコア（独自算出の注目度）: 49.841082217997354
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A recent line of works apply machine learning techniques to assist or rebuild cost based query optimizers in DBMS. While exhibiting superiority in some benchmarks, their deficiencies, e.g., unstable performance, high training cost, and slow model updating, stem from the inherent hardness of predicting the cost or latency of execution plans using machine learning models. In this paper, we introduce a learning to rank query optimizer, called Lero, which builds on top of the native query optimizer and continuously learns to improve query optimization. The key observation is that the relative order or rank of plans, rather than the exact cost or latency, is sufficient for query optimization. Lero employs a pairwise approach to train a classifier to compare any two plans and tell which one is better. Such a binary classification task is much easier than the regression task to predict the cost or latency, in terms of model efficiency and effectiveness. Rather than building a learned optimizer from scratch, Lero is designed to leverage decades of wisdom of databases and improve the native optimizer. With its non intrusive design, Lero can be implemented on top of any existing DBMS with minimum integration efforts. We implement Lero and demonstrate its outstanding performance using PostgreSQL. In our experiments, Lero achieves near optimal performance on several benchmarks. It reduces the execution time of the native PostgreSQL optimizer by up to 70% and other learned query optimizers by up to 37%. Meanwhile, Lero continuously learns and automatically adapts to query workloads and changes in data.
Abstract（参考訳）: 最近の一連の研究は、DBMSのコストベースのクエリオプティマイザを補助または再構築するために機械学習技術を適用している。いくつかのベンチマークで優位性を示す一方で、不安定なパフォーマンス、高いトレーニングコスト、遅いモデル更新などの欠陥は、機械学習モデルを使用して実行計画の実行コストや遅延を予測するという固有の困難さに起因する。本稿では、ネイティブクエリオプティマイザ上に構築され、クエリ最適化を改善するために継続的に学習するLeroという、クエリオプティマイザのランク付け学習を紹介する。キーとなる観察は、正確なコストや遅延ではなく、相対的な順序やプランのランクがクエリ最適化に十分であるということである。 lero氏は、分類器をトレーニングするためにペアワイズアプローチを採用し、任意の2つのプランを比較し、どちらが優れているかを判断する。このようなバイナリ分類タスクは、モデル効率と有効性の観点から、コストやレイテンシを予測する回帰タスクよりもはるかに簡単である。 Leroは学習したオプティマイザをゼロから構築するのではなく、数十年にわたるデータベースの知恵を活用し、ネイティブオプティマイザを改善するように設計されている。侵入的でない設計で、Leroは最小限の統合作業で既存のDBMS上に実装できる。 Leroを実装し、PostgreSQLを使った優れたパフォーマンスを示します。我々の実験では、Leroはいくつかのベンチマークでほぼ最適な性能を達成した。ネイティブPostgreSQLオプティマイザの実行時間を最大70%削減し、他の学習クエリオプティマイザを最大37%削減する。一方、Leroは継続的に学習し、クエリワークロードやデータの変更に自動的に適応する。

関連論文リスト

GenJoin: Conditional Generative Plan-to-Plan Query Optimizer that Learns from Subplan Hints [1.3108652488669732]
我々は,クエリ最適化問題を共生生成タスクとして考える,新しい学習クエリであるGenJoinを提案する。 GenJoinは、よく知られた2つの実世界のベンチマークの最先端メソッドと同様に、大きく、一貫してパフォーマンスを向上する最初の学習クエリである。
論文参考訳（メタデータ） (2024-11-07T08:31:01Z)
The Unreasonable Effectiveness of LLMs for Query Optimization [4.50924404547119]
クエリテキストの埋め込みには,クエリ最適化に有用な意味情報が含まれていることを示す。少数の組込みクエリベクタで訓練された代替クエリプラン間の単純なバイナリが既存のシステムより優れていることを示す。
論文参考訳（メタデータ） (2024-11-05T07:10:00Z)
No more optimization rules: LLM-enabled policy-based multi-modal query optimizer [9.370719876854228]
大規模言語モデル(LLM)は、機械学習とディープラーニングの分野で重要な瞬間となっている。本稿では,LLM のクエリ最適化能力について検討し,新しい LLM とポリシーに基づくマルチモーダルクエリである LaPuda を設計する。
論文参考訳（メタデータ） (2024-03-20T13:44:30Z)
JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文参考訳（メタデータ） (2023-07-21T17:00:06Z)
Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
論文参考訳（メタデータ） (2023-06-11T22:39:28Z)
VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文参考訳（メタデータ） (2022-11-17T18:39:07Z)
Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文参考訳（メタデータ） (2021-03-23T20:46:20Z)
Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
論文参考訳（メタデータ） (2020-11-04T07:12:43Z)
Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
論文参考訳（メタデータ） (2020-09-23T16:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。