論文の概要: LLMTune: Accelerate Database Knob Tuning with Large Language Models

• arxiv url: http://arxiv.org/abs/2404.11581v1
• Date: Wed, 17 Apr 2024 17:28:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 13:06:14.606225
• Title: LLMTune: Accelerate Database Knob Tuning with Large Language Models
• Title（参考訳）: LLMTune: 大規模言語モデルによるデータベースノブチューニングの高速化
• Authors: Xinmei Huang, Haoyang Li, Jing Zhang, Xinxin Zhao, Zhiming Yao, Yiyan Li, Zhuohao Yu, Tieying Zhang, Hong Chen, Cuiping Li,
• Abstract要約: データベースのknobチューニングは、特定のワークロードにおけるデータベースパフォーマンスを向上させるために、knob値を最適化することを目的として、データベースコミュニティにおいて重要な課題である。 このプロセスを自動化するため、多くの機械学習ベースのチューニング手法が開発されている。 LLMTuneは大規模な言語モデルベースの構成生成器で、新しいワークロードの初期かつ高品質な設定を生成するように設計されている。
• 参考スコア（独自算出の注目度）: 24.874283707632173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Database knob tuning is a critical challenge in the database community, aiming to optimize knob values to enhance database performance for specific workloads. DBMS often feature hundreds of tunable knobs, posing a significant challenge for DBAs to recommend optimal configurations. Consequently, many machine learning-based tuning methods have been developed to automate this process. Despite the introduction of various optimizers, practical applications have unveiled a new problem: they typically require numerous workload runs to achieve satisfactory performance, a process that is both time-consuming and resource-intensive. This inefficiency largely stems from the optimal configuration often being substantially different from the default setting, necessitating multiple iterations during tuning. Recognizing this, we argue that an effective starting point could significantly reduce redundant exploration in less efficient areas, thereby potentially speeding up the tuning process for the optimizers. Based on this assumption, we introduce LLMTune, a large language model-based configuration generator designed to produce an initial, high-quality configuration for new workloads. These generated configurations can then serve as starting points for various base optimizers, accelerating their tuning processes. To obtain training data for LLMTune's supervised fine-tuning, we have devised a new automatic data generation framework capable of efficiently creating a large number of <workload, configuration> pairs. We have conducted thorough experiments to evaluate LLMTune's effectiveness with different workloads, such as TPC-H and JOB. In comparison to leading methods, LLMTune demonstrates a quicker ability to identify superior configurations. For instance, with the challenging TPC-H workload, our LLMTune achieves a significant 15.6x speed-up ratio in finding the best-performing configurations.
• Abstract（参考訳）: データベースのknobチューニングは、特定のワークロードにおけるデータベースパフォーマンスを向上させるために、knob値を最適化することを目的として、データベースコミュニティにおいて重要な課題である。 DBMSは数百の調整可能なノブを特徴としており、DBAが最適な設定を推奨する上で大きな課題となっている。 その結果、このプロセスを自動化するため、多くの機械学習ベースのチューニング手法が開発されている。 様々なオプティマイザが導入されているにもかかわらず、実用アプリケーションは新しい問題を明らかにしている。 この非効率性は主に、最適設定がデフォルト設定と大きく異なる場合が多く、チューニング中に複数のイテレーションが必要になることに起因する。 これを認識し、効率的な出発点が低効率領域における冗長な探索を著しく削減し、最適化器のチューニングプロセスを高速化する可能性があると論じる。 この仮定に基づいて,新しいワークロードの初期かつ高品質な構成を生成するために設計された,大規模言語モデルに基づく構成生成器であるLLMTuneを紹介する。 これらの生成された構成は、様々なベースオプティマイザの出発点として機能し、チューニングプロセスを加速する。 LLMTuneの教師付き微調整のためのトレーニングデータを得るため,多数の<workload,configation>ペアを効率的に生成できる新しい自動データ生成フレームワークを開発した。 LLMTuneの有効性をTPC-HやJOBなど,さまざまなワークロードで評価するための徹底的な実験を行った。 リードメソッドと比較して、LLMTuneは優れた設定を素早く識別する能力を示している。 例えば、難易度の高いTPC-Hワークロードでは、LLMTuneは、最高のパフォーマンス構成を見つける上で、大きな15.6倍のスピードアップ比を実現しています。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
  グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-03-05T06:23:55Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• Parameter-Efficient Finetuning of Transformers for Source Code [11.858514933732305]
  事前訓練されたトランスフォーマーは、様々なコード処理タスクで最先端のパフォーマンスを達成するが、デプロイするには大きすぎる可能性がある。 NLPタスクで最初にテストされたアダプタとLoRAという,広く使用されている2つのアプローチを試した。 効率的な微調整アプローチは、コード理解タスクにおいて、標準的な完全微調整よりも同等または高いパフォーマンスを達成することができるが、コード生成タスクでは、完全な微調整を実行する。
  論文  参考訳（メタデータ） (2022-12-12T14:00:57Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free Optimization Algorithms [0.6543507682026964]
  Deep Learning (DL) アプリケーションは、ジーンやPyTorchといったDLライブラリやフレームワークを使って構築されている。 これらのフレームワークは複雑なパラメータを持ち、優れたトレーニングを得るために調整する。 そこで,本論文では,トレーニングと推論性能を改善するために,DLフレームワークのパラメータをチューニングする問題をブラックボックス問題として扱う。
  論文  参考訳（メタデータ） (2021-09-13T19:10:23Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。