論文の概要: No more optimization rules: LLM-enabled policy-based multi-modal query optimizer
- arxiv url: http://arxiv.org/abs/2403.13597v2
- Date: Sat, 23 Mar 2024 17:05:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 10:58:39.824783
- Title: No more optimization rules: LLM-enabled policy-based multi-modal query optimizer
- Title(参考訳): もはや最適化ルールはない: LLM対応ポリシーベースのマルチモーダルクエリオプティマイザ
- Authors: Yifan Wang, Haodi Ma, Daisy Zhe Wang,
- Abstract要約: 大規模言語モデル(LLM)は、機械学習とディープラーニングの分野で重要な瞬間となっている。
本稿では,LLM のクエリ最適化能力について検討し,新しい LLM とポリシーに基づくマルチモーダルクエリである LaPuda を設計する。
- 参考スコア(独自算出の注目度): 9.370719876854228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) has marked a pivotal moment in the field of machine learning and deep learning. Recently its capability for query planning has been investigated, including both single-modal and multi-modal queries. However, there is no work on the query optimization capability of LLM. As a critical (or could even be the most important) step that significantly impacts the execution performance of the query plan, such analysis and attempts should not be missed. From another aspect, existing query optimizers are usually rule-based or rule-based + cost-based, i.e., they are dependent on manually created rules to complete the query plan rewrite/transformation. Given the fact that modern optimizers include hundreds to thousands of rules, designing a multi-modal query optimizer following a similar way is significantly time-consuming since we will have to enumerate as many multi-modal optimization rules as possible, which has not been well addressed today. In this paper, we investigate the query optimization ability of LLM and use LLM to design LaPuda, a novel LLM and Policy based multi-modal query optimizer. Instead of enumerating specific and detailed rules, LaPuda only needs a few abstract policies to guide LLM in the optimization, by which much time and human effort are saved. Furthermore, to prevent LLM from making mistakes or negative optimization, we borrow the idea of gradient descent and propose a guided cost descent (GCD) algorithm to perform the optimization, such that the optimization can be kept in the correct direction. In our evaluation, our methods consistently outperform the baselines in most cases. For example, the optimized plans generated by our methods result in 1~3x higher execution speed than those by the baselines.
- Abstract(参考訳): 大規模言語モデル(LLM)は、機械学習とディープラーニングの分野で重要な瞬間となっている。
近年,単一モーダルクエリとマルチモーダルクエリの両方を含むクエリプランニング機能について検討されている。
しかし,LLMのクエリ最適化機能については検討されていない。
クエリプランの実行パフォーマンスに大きな影響を与える重要な(あるいは最も重要な)ステップとして、そのような分析や試行は見逃すべきではない。
別の側面では、既存のクエリオプティマイザは通常、ルールベースまたはルールベース+コストベースである。
現代のオプティマイザには数百から数千のルールが含まれており、同様の方法でマルチモーダルクエリオプティマイザを設計するのは、可能な限り多くのマルチモーダル最適化ルールを列挙する必要があるため、非常に時間がかかる。
本稿では,LLMのクエリ最適化能力について検討し,新しいLLMおよびポリシーベースのマルチモーダルクエリオプティマイザであるLaPudaを設計する。
具体的なルールと詳細なルールを列挙する代わりに、LaPudaは最適化においてLLMを導くための抽象的なポリシーを少しだけ必要とします。
さらに,LSMの誤りや負の最適化を防止するため,勾配降下の考え方を取り入れ,最適化を行うための誘導コスト降下(GCD)アルゴリズムを提案する。
評価において,本手法は,ほとんどの場合,基準線を一貫して上回っている。
例えば、我々のメソッドによって生成される最適化されたプランは、ベースラインよりも1~3倍高速に実行されます。
関連論文リスト
- Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Large Language Model-Based Evolutionary Optimizer: Reasoning with
elitism [1.1463861912335864]
大規模言語モデル(LLM)は、顕著な推論能力を示している。
本稿では,LLMが様々なシナリオにまたがるゼロショット最適化能力を有していることを主張する。
LLMを用いた数値最適化手法を提案する。
論文 参考訳(メタデータ) (2024-03-04T13:57:37Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳(メタデータ) (2024-02-27T15:05:32Z) - PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Preference Alignment [20.0605311279483]
与えられたタスクに対して,大きな言語モデル(LLM)に最適なプロンプトを見つけるための新しいフレームワークを導入する。
我々は、プロンプト候補から効率的にサンプリングするために、プロンプト性能を予測する余分な学習モデルを使用する。
このアプローチは、人間工学的なプロンプトと、11の代表的なマルチステップタスクにまたがる他のプロンプト最適化手法の両方を著しく上回っている。
論文 参考訳(メタデータ) (2024-02-13T16:38:01Z) - Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。
以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。
我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
論文 参考訳(メタデータ) (2024-02-03T09:48:54Z) - Large Language Models as Optimizers [106.52386531624532]
本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。
各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。
OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
論文 参考訳(メタデータ) (2023-09-07T00:07:15Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳(メタデータ) (2023-07-21T17:00:06Z) - Lero: A Learning-to-Rank Query Optimizer [49.841082217997354]
これは、ネイティブクエリの上に構築され、クエリ最適化を改善するために継続的に学習される。
Leroはスクラッチから学習を構築するのではなく、数十年にわたるデータベースの知恵を活用し、ネイティブ性を改善するように設計されている。
Leroはいくつかのベンチマークでほぼ最適なパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-02-14T07:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。