論文の概要: No more optimization rules: LLM-enabled policy-based multi-modal query optimizer (version 1)
- arxiv url: http://arxiv.org/abs/2403.13597v1
- Date: Wed, 20 Mar 2024 13:44:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 16:47:59.780655
- Title: No more optimization rules: LLM-enabled policy-based multi-modal query optimizer (version 1)
- Title（参考訳）: もはや最適化ルールはない: LLM対応ポリシーベースのマルチモーダルクエリオプティマイザ(バージョン1)
- Authors: Yifan Wang, Haodi Ma, Daisy Zhe Wang,
- Abstract要約: 大規模言語モデル(LLM)は、機械学習とディープラーニングの分野で重要な瞬間となっている。
本稿では,LLM のクエリ最適化能力について検討し,新しい LLM とポリシーに基づくマルチモーダルクエリである LaPuda を設計する。
- 参考スコア（独自算出の注目度）: 9.370719876854228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) has marked a pivotal moment in the field of machine learning and deep learning. Recently its capability for query planning has been investigated, including both single-modal and multi-modal queries. However, there is no work on the query optimization capability of LLM. As a critical (or could even be the most important) step that significantly impacts the execution performance of the query plan, such analysis and attempts should not be missed. From another aspect, existing query optimizers are usually rule-based or rule-based + cost-based, i.e., they are dependent on manually created rules to complete the query plan rewrite/transformation. Given the fact that modern optimizers include hundreds to thousands of rules, designing a multi-modal query optimizer following a similar way is significantly time-consuming since we will have to enumerate as many multi-modal optimization rules as possible, which has not been well addressed today. In this paper, we investigate the query optimization ability of LLM and use LLM to design LaPuda, a novel LLM and Policy based multi-modal query optimizer. Instead of enumerating specific and detailed rules, LaPuda only needs a few abstract policies to guide LLM in the optimization, by which much time and human effort are saved. Furthermore, to prevent LLM from making mistakes or negative optimization, we borrow the idea of gradient descent and propose a guided cost descent (GCD) algorithm to perform the optimization, such that the optimization can be kept in the correct direction. In our evaluation, our methods consistently outperform the baselines in most cases. For example, the optimized plans generated by our methods result in 1~3x higher execution speed than those by the baselines.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、機械学習とディープラーニングの分野で重要な瞬間となっている。
近年,単一モーダルクエリとマルチモーダルクエリの両方を含むクエリプランニング機能について検討されている。
しかし,LLMのクエリ最適化機能については検討されていない。
クエリプランの実行パフォーマンスに大きな影響を与える重要な(あるいは最も重要な)ステップとして、そのような分析や試行は見逃すべきではない。
別の側面では、既存のクエリオプティマイザは通常、ルールベースまたはルールベース+コストベースである。
現代のオプティマイザには数百から数千のルールが含まれており、同様の方法でマルチモーダルクエリオプティマイザを設計するのは、可能な限り多くのマルチモーダル最適化ルールを列挙する必要があるため、非常に時間がかかる。
本稿では,LLMのクエリ最適化能力について検討し,新しいLLMおよびポリシーベースのマルチモーダルクエリオプティマイザであるLaPudaを設計する。
具体的なルールと詳細なルールを列挙する代わりに、LaPudaは最適化においてLLMを導くための抽象的なポリシーを少しだけ必要とします。
さらに,LSMの誤りや負の最適化を防止するため,勾配降下の考え方を取り入れ,最適化を行うための誘導コスト降下(GCD)アルゴリズムを提案する。
評価において,本手法は,ほとんどの場合,基準線を一貫して上回っている。
例えば、我々のメソッドによって生成される最適化されたプランは、ベースラインよりも1～3倍高速に実行されます。
関連論文リスト
- The Unreasonable Effectiveness of LLMs for Query Optimization [4.50924404547119]
クエリテキストの埋め込みには,クエリ最適化に有用な意味情報が含まれていることを示す。
少数の組込みクエリベクタで訓練された代替クエリプラン間の単純なバイナリが既存のシステムより優れていることを示す。
論文 参考訳（メタデータ） (2024-11-05T07:10:00Z) - QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。
我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。
様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文 参考訳（メタデータ） (2024-08-20T03:06:48Z) - Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。
本稿では,パフォーマンス向上に着目したコード最適化について検討する。
論文 参考訳（メタデータ） (2024-06-17T16:10:10Z) - Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization [19.200989737492595]
大規模言語モデル(LLM)は、ユーザの質問に答える上で大きな進歩を見せている。
LLMの出力の品質はプロンプト設計に大きく依存しており、優れたプロンプトによってLLMが非常に難しい問題に正しく答えられる可能性がある。
LLMの階層構造を提案し、まず、正確な指示と正確な単語を階層的に生成し、次に、このプロンプトを用いてユーザクエリの最終回答を生成する。
論文 参考訳（メタデータ） (2024-05-30T17:05:45Z) - Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。
私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
論文 参考訳（メタデータ） (2024-05-30T06:24:14Z) - PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Heuristic-based Sampling [20.0605311279483]
マルチステップタスク(PROMST)におけるPRompt Optimizationを導入する。
人間が設計したフィードバックルールを組み込んで、改善のための直接提案を自動的に提供する。
これは、人間工学的なプロンプトと、他のいくつかのプロンプト最適化手法の両方において、11の代表的なマルチステップタスクよりも大幅に優れている。
論文 参考訳（メタデータ） (2024-02-13T16:38:01Z) - Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。
以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。
我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
論文 参考訳（メタデータ） (2024-02-03T09:48:54Z) - Large Language Models as Optimizers [106.52386531624532]
本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。
各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。
OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
論文 参考訳（メタデータ） (2023-09-07T00:07:15Z) - Lero: A Learning-to-Rank Query Optimizer [49.841082217997354]
これは、ネイティブクエリの上に構築され、クエリ最適化を改善するために継続的に学習される。
Leroはスクラッチから学習を構築するのではなく、数十年にわたるデータベースの知恵を活用し、ネイティブ性を改善するように設計されている。
Leroはいくつかのベンチマークでほぼ最適なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-02-14T07:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。