論文の概要: E2ETune: End-to-End Knob Tuning via Fine-tuned Generative Language Model

• arxiv url: http://arxiv.org/abs/2404.11581v2
• Date: Mon, 24 Feb 2025 02:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:46:57.029718
• Title: E2ETune: End-to-End Knob Tuning via Fine-tuned Generative Language Model
• Title（参考訳）: E2ETune: 微調整生成言語モデルによるエンドツーエンドノブチューニング
• Authors: Xinmei Huang, Haoyang Li, Jing Zhang, Xinxin Zhao, Zhiming Yao, Yiyan Li, Tieying Zhang, Jianjun Chen, Hong Chen, Cuiping Li,
• Abstract要約: E2ETuneは、細調整された生成言語モデルを利用した、エンドツーエンドのノブチューナーである。 本稿では,大量のトレーニングデータを効率的に自動生成する新しいデータ生成フレームワークを提案する。 これらの合成データは、生成言語モデルを微調整するために使用され、E2ETuneというエンドツーエンドのノブチューナーが生成される。
• 参考スコア（独自算出の注目度）: 22.661022020554622
• License:
• Abstract: Database knob tuning is a significant challenge for database administrators (DBAs), as it involves tuning a large number of configuration knobs with continuous or discrete values to achieve optimal database performance. Traditional methods, such as manual tuning or learning-based approaches, typically require numerous workload replays and are both time-consuming and resource-intensive. To address this challenge, we introduce E2ETune, an end-to-end knob tuner powered by a fine-tuned generative language model. The key idea is to leverage the exceptional sequence-to-sequence modeling capabilities of generative language models to capture the complex mapping between workloads (inputs) and their corresponding promising configurations (outputs). To achieve this goal, we propose a novel data generation framework designed to efficiently and automatically produce a vast quantity of training data, where each data sample consists of a <workload, promising configuration> pair. Then, these synthetic data are used to fine-tune a generative language model, yielding an end-to-end knob tuner named E2ETune. This tuner can directly recommend promising configurations for any new workload, eliminating the need for the extensive workload replays required by previous approaches. We have conducted extensive experiments to evaluate E2ETune's effectiveness and efficiency, utilizing 10 representative benchmarks and 3 real-world benchmarks. Compared to state-of-the-art methods, E2ETune demonstrates a significantly faster ability to identify superior configurations, achieving higher throughput or lower latency. For example, with the challenging JOB benchmark, E2ETune finds the best-performing configuration in an average of 24x less time compared to existing approaches.
• Abstract（参考訳）: データベース管理者(DBA)にとってデータベースノブチューニングは重要な課題であり、データベースのパフォーマンスを最適なものにするためには、多数の構成ノブを連続的あるいは離散的な値でチューニングする必要がある。 手動チューニングや学習ベースのアプローチといった従来の手法は、通常、多くのワークロードのリプレイを必要とし、時間とリソース集約の両方を必要とする。 この課題に対処するために、細調整された生成言語モデルを利用したエンドツーエンドのknobチューナーであるE2ETuneを紹介する。 キーとなるアイデアは、生成言語モデルの例外的なシーケンス・ツー・シーケンス・モデリング機能を活用して、ワークロード(インプット)とそれに対応する有望な構成(アウトプット)の間の複雑なマッピングをキャプチャすることです。 この目的を達成するために、我々は大量のトレーニングデータを効率よく自動生成するように設計された新しいデータ生成フレームワークを提案する。 次に、これらの合成データを用いて生成言語モデルを微調整し、E2ETuneというエンドツーエンドのノブチューナーを生成する。 このチューナーは、任意の新しいワークロードに対して有望な設定を直接推奨することができ、以前のアプローチで必要とされる広範なワークロードのリプレイを不要にすることができる。 我々は,10の代表的なベンチマークと3つの実世界のベンチマークを用いて,E2ETuneの有効性と効率を評価するための広範囲な実験を行った。 最先端の方法と比較して、E2ETuneは優れた構成を識別し、高いスループットや低いレイテンシを実現する能力が大幅に向上している。 例えば、挑戦的なJOBベンチマークでは、E2ETuneは、既存のアプローチと比べて平均24倍の時間で最高のパフォーマンスのコンフィギュレーションを見つける。

関連論文リスト

• Bilevel ZOFO: Bridging Parameter-Efficient and Zeroth-Order Techniques for Efficient LLM Fine-Tuning and Meta-Training [44.48966200270378]
  First-Order (FO)imats を用いた下流タスクのための微調整済みのLarge Language Model (LLMs) は、重要な計算課題を示す。 本稿では,ZO法をPEFTで補完し,ハードプロンプトに対する感度を緩和する二段階最適化フレームワークを提案する。 我々のBilevel ZOFO法では,PEFTモデルの勾配とベースモデルの前方通過のみを必要とする二重ループ最適化方式を採用している。
  論文  参考訳（メタデータ） (2025-02-05T20:47:44Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
  グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-03-05T06:23:55Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• Parameter-Efficient Finetuning of Transformers for Source Code [11.858514933732305]
  事前訓練されたトランスフォーマーは、様々なコード処理タスクで最先端のパフォーマンスを達成するが、デプロイするには大きすぎる可能性がある。 NLPタスクで最初にテストされたアダプタとLoRAという,広く使用されている2つのアプローチを試した。 効率的な微調整アプローチは、コード理解タスクにおいて、標準的な完全微調整よりも同等または高いパフォーマンスを達成することができるが、コード生成タスクでは、完全な微調整を実行する。
  論文  参考訳（メタデータ） (2022-12-12T14:00:57Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free Optimization Algorithms [0.6543507682026964]
  Deep Learning (DL) アプリケーションは、ジーンやPyTorchといったDLライブラリやフレームワークを使って構築されている。 これらのフレームワークは複雑なパラメータを持ち、優れたトレーニングを得るために調整する。 そこで,本論文では,トレーニングと推論性能を改善するために,DLフレームワークのパラメータをチューニングする問題をブラックボックス問題として扱う。
  論文  参考訳（メタデータ） (2021-09-13T19:10:23Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。